- 博客(22)
- 收藏
- 关注
RSS订阅原创 java 监控hadoop webui数据
import java.io.*;import java.text.SimpleDateFormat;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import javafx.scene.chart.PieChart;import org.apache.commons.http...
2019-10-31 15:13:13
337
原创 Git ssh连接流程
一、配置git 下载项目 1.安装git客户端 安装git客户端 安装成功之后打开Git bash 开启之后设置你的用户名和用户邮箱$ g...
2019-09-18 14:53:51
2028
原创 hadoop(---mr---yarn)---知识点总结
目录一、定义1.大数据时代 1）、三次信息化浪潮时间点以及形式 2）、人类社会数据产生方式经历阶段 3）、大数据的特点 4）、大数据的精髓2.hadoop简介 1）、hadoop是什么，能干什么 2）、hadoop的发展史 3）、Hadoop的特点...
2019-07-28 17:48:35
1094
转载 hive动态分区 MapReduce 虚拟内存不足
实际遇到的真实问题,解决方法: 1.调整虚拟内存率yarn.nodemanager.vmem-pmem-ratio (这个hadoop默认是2.1) 2.调整map与reduce的在AM中的大小大于yarn里RM可分配的最小值yarn.scheduler.minimum-allocation-mb 大小因为在Container中计算使用的虚拟内存来自 ma...
2019-07-15 09:31:13
1576
1
原创 hadoop集群搭建--完全分布式
目录一、hadoop完全分布式操作系统软件要求三、配置详情1.安装虚拟机和配置网络2. 上传jdk和hadoop 安装VMware tools 设置共享文件夹3. 安装jdk和hadoop解压jdk和hadoop创建软链接4. 配置环境变量配置hadoop配置文件1.hadoop-env.sh2.croe-sit...
2019-03-28 20:40:38
342
原创 hadoop集群搭建--伪分布式
前情提要。我们搭建了单节点也就是本地hadoop集群。我直接以此为基础 扩展到伪分布式集群目录一、hadoop伪分布式操作系统软件要求三、配置详情1.安装虚拟机和配置网络2. 上传jdk和hadoop 安装VMware tools 设置共享文件夹3. 安装jdk和hadoop解压jdk和hadoop创建软链接4. 配置环境变量...
2019-03-28 19:13:26
4270
原创 hadoop集群搭建--单节点(本地节点)
此文章并不是单纯的搭建单节点 想要只搭建单节点只需要上传解压jdk 和hadoop 并修改环境变量 和配置env.sh。多出的东西是为搭建伪分布和完全分布用目录一、hadoop单节点二、准备工作操作系统软件要求三、配置详情1.安装虚拟机和配置网络2. 上传jdk和hadoop 安装VMware tools 设置共享文件夹3. 安装jdk和...
2019-03-28 17:56:18
1778
原创 Linux-----勉强能用系列(1)
目录一、linux 系统的简述 1.linux的简介 2.linux的历史1）、想法诞生2）、着手设计3）、分享与修改4）、广大爱好者的加入5）、linux正式版的发布二、linux的文件权限及目录配置1.使用者 与 群组1.文件拥有者2.群组3.其他人2.文件系统简介3.目录树4.对于目录的简单了解...
2019-03-15 16:44:04
323
转载 Java并发编程：synchronized
Java并发编程：synchronized 虽然多线程编程极大地提高了效率，但是也会带来一定的隐患。比如说两个线程同时往一个数据库表中插入不重复的数据，就可能会导致数据库中插入了相同的数据。今天我们就来一起讨论下线程安全问题，以及Java中提供了什么机制来解决线程安全问题。 以下是本文的目录大纲： 一.什么时候会出现线程安全问题？ 二.如何解决线程安全问题？ 三.sy...
2019-03-04 15:58:33
137
原创 线程有趣的题目
假设有这样一种情况，有一个盘子，盘子里只能放一个鸡蛋，A线程专门往盘子里放鸡蛋，如果盘子里有鸡蛋，则一直等到盘子里没鸡蛋，B线程专门从盘子里取鸡蛋，如果盘子里没鸡蛋，则一直等到盘子里有鸡蛋。这里盘子是一个互斥区，每次放鸡蛋是互斥的，每次取鸡蛋也是互斥的，A线程放鸡蛋，如果这时B线程要取鸡蛋，由于A没有释放锁，B线程处于等待状态，进入阻塞队列，放鸡蛋之后，要通知B线程取鸡蛋，B线程进入就绪...
2019-03-04 15:56:22
212
原创 java.io
目录一、file类型（java.io.file） 1.概念 2.常用构造器 3.绝对路径与相对路径 4.常用方法 文件/目录操作方法 文件/目录创建方法 递归删除目录io流（java.io） 1.概念 2.io流的分类 ...
2019-03-04 15:56:12
520
原创 java.lang.Thread
目录一、什么是线程(Thread)与进程(Process) 1.什么是进程 2.什么是线程 3.线程与进程的区别二、线程(Thread) 1.线程的使用 2.线程的五大状态 3.线程创建的三种方法 1）.继承...
2019-03-04 15:56:04
319
原创 Map源码分析
hashMap HashMap的底层主要是基于数组和链表来实现的，它之所以有相当快的查询速度主要是因为它是通过计算散列码来决定存储的位置。HashMap中主要是通过key的hashCode来计算hash值的，只要hashCode相同计算出来的hash值就一样。如果存储的对象对多了，就有可能不同的对象所算出来的hash值是相同的，这就出现了所谓的hash冲突 数组的每个元...
2018-12-21 20:10:48
223
1
转载 Java遍历Map对象的四种方式
关于java中遍历map具体哪四种方式，请看下文详解吧。方式一 这是最常见的并且在大多数情况下也是最可取的遍历方式。在键值都需要时使用。 1 2 3 4 Map<Integer, Integer> map = new HashMap<Integer, Integer>(); for (Map.Entry&...
2018-12-21 19:57:30
109
原创 java学习实录----集合理论(2)
2)Queue (队列) 本来是单独的一类，不过在SUN的JDK里就是用LinkedList来提供这个功能的，主要方法是offer/pull/peek，因此归到这里。实现类LinkedList也实现了该接口，因为Queue经常要进行添加和删除操作，而LinkedList在这方面效率比较高。队列是特殊的线性表，队列限制对线性表的访问方式： 队尾添加(offer)元素，队头取出（poll）元...
2018-12-21 19:56:17
176
原创 java学习实录-------集合理论(1)
这里是学习集合主要涉及的理论知识和少许实例，以为集合的东西比较多，可能分多次写完。 后续会花一些时间写一篇关于集合方法底层的博客 可以期待下 Java为什么会有集合存在？在编程中，我们常常需要集中存放多个数据，比如：学校的学生花名册，考试成绩等等，类似情况。有人会会说：数组也可以呀！没错，但是数组有它的优点也有它的不足之处：1.我们在使用数组时，一旦为数组指定长度，那么这个数组的...
2018-12-17 18:48:17
186
原创 java --时间类型
时间类 在计算机中，时间的表示是一个较大的概念，现有的系统基本都是利用从1970.1.1 00:00:00 到当前时间的毫秒数进行计时，这个时间称为epoch。在后文中如果没有明确说明，毫秒数就是指从1970年到对应时间的毫秒数。在Java 的Date类内部其实也是一个毫秒数，对外表现为一个Date对象， java在jdk1.1 之前负责所有和时间操作有关的功能也就是 （日期的表...
2018-11-30 19:38:58
15902
原创 java学习实录-----包装类
一、什么是包装类，包装类是干什么用的 我们都知道java将数据分为两大类型 ，即基本数据类型和引用数据类型 基本数据类型和引用数据类型的区别：引用数据类型是对象，有自己的方法可以灵活的应用数据，而基本数据类型只是一个单纯的数值，只能当做一个数来用。因为时间的一切都是为了方便(懒)，当我们有需求时就要去解决需求。既然基本数据类型的数据用起来不灵活 那我们就创造一种基本数...
2018-11-12 15:45:04
214
原创 sql语句学习实录
/*--SQL(结构化查询语言)--通过dbms用来管理db的标准查询语言--可以对数据库进行创建 操纵 删除等操作--SQL语言 分为五种语句DDL DML DCL TCL DQL--(1)DDL的学习 DDL是数据定义语言 用来创建，删除，修改，清空"数据表结构"的 包含关键字: create...
2018-11-12 14:18:47
197
原创 如何完全删除数据库 任何版本 注册表删除法
1.关闭oracle所有的服务。可以在windows的服务管理器中关闭；2.打开注册表：regedit 打开路径：这一步中，可以用到我们在注册表清理软件一文中介绍的一款及其方便查找路径的小软件。Registry Manager HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\ 删除该路径下的所有以oracle开始的服务名称，这...
2018-11-11 10:54:10
10371
1
原创 java基础
JAVA（一）运行环境jre :运行JAVA程序所必须的环境的集合，包含JVM标准实现及Java核心类库jvm：java虚拟机jdk： 开发工具类库以及开发工具因为 所有环境都有独属于自己的jvm jvm可识别一套规则 故java可以在所有平台使用 也就是所谓的跨平台java运行首先要写源文件 也就java 文件 然后将,java文件经过编译成为自己码文件 也就是,cla...
2018-11-05 13:20:30
161
原创 java关键-------面向对象
序:无论是在学习还是在写代码时，封装，继承，重载，重写。我们一直在用。前面讲的人也把格式等写的比较明了，我主要讲下我自己对面向对象理解，里面代码，格式等应该没有多少。主要是文字叙述的多，尤其是我私下说都说的明白，但是当着人就会紧张，语无伦次。所以我把自己想说的都写在了ppt里。别怪我照着ppt读 这大部分都是我自己一个字一个字敲的。Java语言核心-----面向对象*面向对象乃是Java语言...
2018-11-05 13:20:06
380
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人