![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
java大数据专家
努力学习
展开
-
Java增强之快速排序
package busishentu;import java.util.Arrays;public class QuickSort { public static void main(String[] args) { int [] arr = {2,7,1,2,8,1,3}; System.out.println(Arrays.toString(arr));// int i...原创 2018-11-05 10:39:44 · 125 阅读 · 0 评论 -
MapReduce编程【WordCount】
课程回顾: wordcount程序: 单机版: 统计的6个文件 定义一个方法------读取每一个小文件进行统计 这个方法调用了6次 定义了一个最终统计的方法 这个方法调用了1次 最大值 最小值 平均值 map-----分 reduce----汇总...原创 2018-11-05 11:49:55 · 345 阅读 · 0 评论 -
HDFS的两大核心和元数据合并
文件上传过程:写1.客户端向namenode发送上传的请求 2.namenode进行一系列的检查(权限 文件的父目录是否存在,文件是否已经存在同名等等,检查通过则允许上传) 3.允许客户端上传 4.客户端发送真正的文件上传的请求,(请求中包含一个重要信息:文件的长度/大小) 5.namenode根据文件的长度计算文件的切块个数 文件的大小(200/128=2),获取副本的配置信息(df...原创 2018-11-05 11:40:38 · 287 阅读 · 0 评论 -
HDFS的两大核心和元数据合并
文件上传过程:写1.客户端向namenode发送上传的请求 2.namenode进行一系列的检查(权限 文件的父目录是否存在,文件是否已经存在同名等等,检查通过则允许上传) 3.允许客户端上传 4.客户端发送真正的文件上传的请求,(请求中包含一个重要信息:文件的长度/大小) 5.namenode根据文件的长度计算文件的切块个数 文件的大小(200/128=2),获取副本的配置信息(df...原创 2018-11-05 11:30:43 · 349 阅读 · 0 评论 -
HDFS四大机制
6.1 、HADOOP 心跳机制(heartbeat )1、 Hadoop 是 Master/Slave 结构,Master 中有 NameNode 和 ResourceManager,Slave 中有Datanode 和 NodeManagerStay hungry Stay foolish -- http://blog.csdn.net/zhongqi25132、 Master 启动...原创 2018-11-05 11:27:00 · 253 阅读 · 0 评论 -
HDFS的shell命令
-help功能:输出这个命令参数手册[hadoop@hadoop02 ~]$ hadoop -help[hadoop@hadoop02 ~]$ hadoop fs -help[hadoop@hadoop02 ~]$ hadoop fs -help ls-ls功能:显示目录信息示例: hadoop fs -ls hdfs://hadoop02:9000/备注:这些参数中,所有的 hd...原创 2018-11-05 11:24:53 · 138 阅读 · 0 评论 -
List和LinkedList与比较器
List集合: 有序 可重复的集合 有序:有元素的插入顺序 arrayList: 底层实现:数组 如何实现的: 创建数组的时候 长度是0 第一次添加元素的时候 初始化数组的长度 10 数组的扩容:...原创 2018-11-05 10:57:04 · 567 阅读 · 0 评论 -
单数组归并
package busishentu;import java.util.Arrays;public class MergeSortFinal { public static void main(String[] args) { int[] arr={3,5,6,6,8,9,14}; int[] newarr=new int[arr.length]; chaiSort(arr...原创 2018-11-05 10:51:54 · 117 阅读 · 0 评论 -
归并排序
package busishentu;import java.util.Arrays;public class MergeSort { public static void main(String[] args) { int[] arr1={3,5,6,6,8,9,14}; int[] arr2={4,6,7,9,13,23}; int[] res=bingSort(arr...原创 2018-11-05 10:41:47 · 92 阅读 · 0 评论 -
计数排序
package busishentu;import java.util.Arrays;public class JiShuSort { public static void main(String[] args) { int[] arr={2,4,5,6,7,81,5,3}; int[] crr=JiShuSort(arr); System.out.println(Arra...原创 2018-11-05 10:40:57 · 75 阅读 · 0 评论 -
分组分区和数据倾斜combiner
reducetask的并行度----分区: yarchild-- 1maptask---MyMapper/1reducetask任务----MyReducer 运行reduce任务的并行度 目前情况下 reducetask只有一个 19557 YarnChild --- reducetask 默认情况下 reducetas...原创 2018-11-08 21:04:05 · 454 阅读 · 0 评论