![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
剑指数据仓库-Hadoop基础
Spark on yarn
这个作者很懒,什么都没留下…
展开
-
剑指数据仓库-Hadoop六
一、上次课程回顾二、Hadoop六2.1、Container剖析2.2、MapReduce2.x的架构设计2.3、解析wordcount.java2.4、Map Task的启动个数由谁来决定?2.4、生产上文件格式、压缩格式的考量?2.5、WordCount流程图解析(Shuffle)三、作业一、上次课程回顾https://blog.csdn.net/SparkOnYar...原创 2020-03-27 14:17:00 · 245 阅读 · 0 评论 -
剑指数据仓库-Hadoop五
一、上次课程回顾二、Hadoop五2.1、初识MapReduce2.2、hdfs的文件写流程2.3、hdfs的文件读流程2.4、hdfs上的datanode三、作业一、上次课程回顾https://blog.csdn.net/SparkOnYarn/article/details/105107870二、Hadoop五2.1、初识MapReduceMapReduce主要分...原创 2020-03-26 22:19:03 · 238 阅读 · 0 评论 -
剑指数据仓库-Hadoop四
一、上次课程回顾二、Hadoop四(一)2.1、hdfs副本放置策略2.2、hdfs的文件写流程2.3、hdfs的文件读流程2.4、hdfs上的datanode2.5、hdfs上关于数据修复2.6、hdfs上的SecondaryNameNode2.7、fsimage+editlog详解2.8、校验文件是否损坏三、Hadoop四(二)3.1、hdfs集群上各个节点数据如何...原创 2020-03-26 17:32:14 · 331 阅读 · 0 评论 -
剑指数据仓库-Hadoop三
一、上次课程回顾二、Hadoop第二次课2.1、block块2.2、hdfs上的小文件2.3、hdfs的架构设计2.4、CentOS6、CentOS7下分别设置云主机的hostname2.5、jps的真正使用2.6、Linux下的OOM机制三、本次课程作业一、上次课程回顾https://blog.csdn.net/SparkOnYarn/article/details/1...原创 2020-03-25 23:30:27 · 240 阅读 · 0 评论 -
剑指数据仓库-Hadoop二
一、上次课程回顾二、Hadoop第二次课2.1、Yarn的单节点部署2.2、MySQL中union联合查询&&join连接&&求和统计三、SQL语句实操四、本次课程作业一、上次课程回顾https://blog.csdn.net/SparkOnYarn/article/details/104997202apache和cloudera的hadoop...原创 2020-03-24 23:58:25 · 203 阅读 · 0 评论 -
剑指数据仓库-Hadoop一
一、上次课程回顾二、初识Hadoop2.1、最基础的MySQL语法2.2、MySQL中union联合查询&&join连接&&求和统计三、SQL语句实操四、本次课程作业一、上次课程回顾https://blog.csdn.net/SparkOnYarn/article/details/104904205二、初识HadoopHadoop的官网:h...原创 2020-03-20 19:46:23 · 394 阅读 · 0 评论