![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
伊怡以逸艺
这个作者很懒,什么都没留下…
展开
-
HDFS---添加白名单
HDFS—添加白名单由于集群中添加克隆节点较为容易,如果不做如何措施,都可访问到NameNode.所以,创建一份白名单,添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。配置白名单的具体步骤如下1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件[root@hadoop03 hadoop]# touch dfs.hosts[root@hadoop03 hadoop]# vim dfs.原创 2020-05-11 13:56:27 · 378 阅读 · 0 评论 -
Hadoop源码编译最后一步出现错误
hadoop源码编译出现错误在编译hadoop源码时,最后一步通过maven执行编译命令出错[root@hadoop06 hadoop-2.7.2-src]# mvn package -Pdist,native -DskipTests _Dtar出现的错误[INFO] Scanning for projects...Downloading: http://repo.maven.apac...原创 2020-05-07 18:03:57 · 673 阅读 · 3 评论 -
完全分布式----集群时间同步
完全分布式----集群时间同步时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。配置时间同步具体实操:1. 时间服务器配置(必须root用户)(1)检查ntp是否安装[root@hadoop03 ~]# rpm -qa | grep ntp出现如下三句,就是已经安装ntp-4.2.6p5-10.el6.centos...原创 2020-05-07 10:24:55 · 237 阅读 · 0 评论 -
Hadoop常用端口号总结
Hadoop 常用端口总结在我的Hadoop学习之路上持续更新,冲鸭端口 50070 :查看HDFS端口 8088 :查看mapreduce,程序运行进程原创 2020-05-06 20:43:45 · 340 阅读 · 0 评论 -
完全分布式----集群启动停止方式总结
完全分布式----集群启动停止方式总结1 各个模块分开启动/停止常用方式(配置SSH是前提)1.1 整体启动/停止HDFSstart-dfs.sh / stop-dfs.sh1.2 整体启动/停止yarnstrat-yarn.sh / stop-yarn.sh2 各个服务器组件逐一启动/停止2.1 分别启动/停止HDFS组件hadoop-daemon.sh start/sto...原创 2020-05-06 20:38:37 · 335 阅读 · 0 评论 -
完全分布式--集群群起
完全分布式——集群群起超级关键关键关键★集群部署规划1.配置slaves首先在hadoop03中配置[root@hadoop03 ~]# vim /opt/module/hadoop-2.5.0-cdh5.3.6/etc/hadoop/slaveshadoop03hadoop04hadoop05在文件中添加的内容,不允许有的多余的空格,以及空行在hadoop03中使用xs...原创 2020-05-06 18:13:41 · 269 阅读 · 0 评论 -
SSH无密登陆配置
SSH无密登陆配置1. 配置SSH基本语法 ssh 另一台电脑的ip 地址即可登陆到另外一台设备上[root@hadoop05 hadoop-2.5.0-cdh5.3.6]# ssh hadoop03The authenticity of host 'hadoop03 (192.168.235.130)' can't be established.RSA key fingerp...原创 2020-05-06 16:13:59 · 215 阅读 · 0 评论 -
完全分布式-集群单点启动
完全分布式–集群单点启动记录一下自己学习hadoop时的一些知识点集群在之前已经部署好windows和linux的主机映射也都设置好对应:centos03 hadoop03 192.168.235.130centos04 hadoop04 192.168.235.131centos05 hadoop05 192.168...原创 2020-05-06 14:22:15 · 316 阅读 · 0 评论