大数据学习-Hadoop
WeiRongWork
这个作者很懒,什么都没留下…
展开
-
Hadoop-MapReduce-单个Task
原创 2019-06-27 16:51:34 · 111 阅读 · 0 评论 -
Hadoop-MapReduce-Yarn
原创 2019-06-27 16:50:47 · 81 阅读 · 0 评论 -
Hadoop-MapReduce-Shuffle
原创 2019-06-27 16:48:15 · 100 阅读 · 0 评论 -
大数据学习-hadoop搭建
hadoop完全分布式搭建 centos 7.0一. Hadoop通用部分1.1 环境变量1.2 文件配置1.2.1 集群连接文件配置1.2.2 env文件1.2.3 site文件配置启动Hadoop集群一. Hadoop通用部分1.1 环境变量1.java环境变量jdk版本:jdk1.8.0_191#....对应自己的jdk路径export JAVA_HOME=/.....expo...原创 2019-06-02 21:54:43 · 190 阅读 · 0 评论 -
Hadoop-Job提交机制
Job提交机制MRJob在最后阶段来提交一个做业来前面编好的代码,这与scala中的延迟lazy类似,也类似于spark中的transformation和action。Job提交有两种方式,常用的**job.waitForCompletion(true);**和 job.submit();job.waitForCompletion(true);job.submit();我们来看看Job...原创 2019-06-27 23:52:51 · 958 阅读 · 0 评论 -
Hadoop完全分布式高可用(HA)搭建
hadoop完全分布式高可用(HA)搭建 centos 7.01. HA图解2. HA文件配置2.1 HDFS HA2.1.1 配置core-site.xml2.1.2 配置hdfs-site.xml2.2 YARN HA2.2.1 mapred-env.sh和yarn-env.sh2.2.2 yarn-site.xml3. HA启动承接上文Hadoop 完全分布式的搭建准备阶段zookee...原创 2019-06-29 14:11:00 · 373 阅读 · 0 评论 -
Hadoop完全分布式HA+HF搭建
Hadoop完全分布式HA+HF搭建 centos 7.0原创 2019-06-29 14:12:18 · 465 阅读 · 0 评论