![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
java大数据-旧
此专栏不继续更新,以后会删除
假装文艺范儿
2022.11.04重启博客,这一次出发,不会再停下。始于java,不止于java。
展开
-
java大数据最全课程学习笔记(6)--MapReduce精通(二)--MapReduce框架原理
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pagesMapReduce精通(二)MapReduce框架原理MapReduce工作流程流程示意图流程详解上面的流程是整个MapReduce最全工作流程,但是Shuffle过程只是从第7步开始到第16步结束,具体Shuffle过程详解,如下:MapTask收集我们的map()方法输出的kv对,放到内存缓冲区中从内存缓冲区不断溢出本地磁盘文件,可能会溢出多个文件多个溢出文件会被合并成大的溢出.原创 2020-07-23 16:10:09 · 285 阅读 · 0 评论 -
java大数据最全课程学习笔记(5)--MapReduce精通(一)
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pagesMapReduce精通(一)MapReduce入门MapReduce定义MapReduce优缺点优点缺点MapReduce核心思想总结:分析WordCount数据流走向深入理解MapReduce核心思想。MapReduce进程MapReduce编程规范用户编写的程序分成三个部分:Mapper、Reducer和Driver。WordCount案例实操需求在给定的文本文件中.原创 2020-07-19 22:22:36 · 192 阅读 · 0 评论 -
java大数据最全课程学习笔记(4)--HDFS NN,2NN,DN及HDFS2.x新特性
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pagesHDFS NN,2NN,DN及HDFS2.x新特性NameNode和SecondaryNameNode(重点)NN和2NN工作机制第一阶段:NameNode启动第一次启动NameNode格式化后,创建fsimage和edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。客户端对元数据进行增删改的请求。NameNode记录操作日志,更新滚动日志。NameNode在内存中对数据进行增删改。.原创 2020-07-17 10:44:47 · 362 阅读 · 0 评论 -
java大数据最全课程学习笔记(3)--HDFS 简介及操作
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pagesHDFS 简介及操作HDFS概述HDFS产出背景及定义HDFS优缺点HDFS组成架构HDFS文件块大小(重点)块在传输时,每64K还需要校验一次,因此块大小,必须为2的n次方,最接近100M的就是128M!如果公司使用的是固态硬盘,写的速度是300M/S,将块大小调整到 256M如果公司使用的是固态硬盘,写的速度是500M/S,将块大小调整到 512M但是块的大小不能设置太小,也不能设.原创 2020-07-16 17:32:28 · 233 阅读 · 0 评论 -
java大数据最全课程学习笔记(2)--Hadoop完全分布式运行模式
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pagesHadoop完全分布式运行模式步骤分析:准备3台客户机(关闭防火墙、静态ip、主机名称)vim /etc/sysconfig/network三台机器各自的配置分别为HOSTNAME=hadoop101;HOSTNAME=hadoop102;HOSTNAME=hadoop103vim /etc/hosts三台机器都加入下面的映射关系192.168.1.101 hadoop101192.168.1.102 .原创 2020-07-14 22:14:37 · 240 阅读 · 0 评论 -
java大数据最全课程学习笔记(1)--Hadoop简介和安装及伪分布式
目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pagesHadoop简介和安装及伪分布式大数据概念大数据概论大数据(Big Data): 指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产.主要解决海量数据的存储和海量数据的分析计算问题.按顺序给出数据存储单位:bit,Byte,KB,MB,GB,TB,PB,EB,ZB,YB,BB,NB,DB..原创 2020-07-12 10:10:20 · 319 阅读 · 0 评论