![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
砥砺前行的疯子
这个作者很懒,什么都没留下…
展开
-
一把手一把手教你在Linux上搭建hadoop
昨天晚上吃的东西不怎么卫生今天肚子很难受,还好放清明了,今天刚刚从医院回来,玩一个hadoop的分布式搭建再休息休息废话不多说1、网络配置好,关闭iptables防火墙,关闭selinux2、jdk1.7.0_67hadoop-2.6.5.tar.gz上传这两个包3、安装jdkrpm -ivh jdk-7u80-linux-x64.rpm4、编辑vi /etc/profile添加...原创 2019-04-05 14:30:18 · 4539 阅读 · 0 评论 -
HA架构搭建hadoop详解,只需要跟着我的步骤按部就班>>Linux
1.时间同步yum install ntp 启动NTP时间服务器:service ntpd start设置NTP开机自动启动:chkconfig ntpd on查看NTP是否正常运行:chkconfig | grep ntp2.node1,2,3,4做免密钥登录ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub...原创 2019-04-08 22:45:22 · 4365 阅读 · 0 评论 -
yarn作业提交流程,及各个角色的作用
一、作业流程 1、 客户端到MR申请作业编号 检验输入目录是否存在 检验输出木木是否为空 计算切片信息(偏移量,数据大小,放在那些DN上) 2、 将conf,jar,切片信息发送到HDFS以作业编号命名的目录下 3、 向RM发送请求提交作业 4、 RM调度NM,让NM分配一个容器,运行MRAppmaster程序 5、 MRAppmaster收集HDFS上的...原创 2019-05-15 20:33:58 · 5012 阅读 · 0 评论 -
图解YARN任务调度,资源调度
yarn任务调度,资源调度1、客户端去ResourceManager取任务编号2、ResourceManager在HDFS上创建个以任务编号命名的目录3、客户端经行输入输出检查,计算切片信息等4、客户端把jar,conf,切片信息上传到HDFS以任务编号命名的目录5、客户端通知ResourceManager启动APPMaster进行资源调度6、ResourceManager选取一台有...原创 2019-05-24 23:36:21 · 4566 阅读 · 0 评论 -
Hadoop思维导图
读流程写流程原创 2019-06-24 18:01:19 · 2861 阅读 · 0 评论 -
HDFS读写流程>>图解+描述
读流程原创 2019-06-24 18:05:49 · 1539 阅读 · 0 评论 -
HadoopHA模式图解
HadoopHA图解原创 2019-06-24 18:06:49 · 1554 阅读 · 0 评论