- 博客(8)
- 收藏
- 关注
RSS订阅原创 HDFS---添加白名单
HDFS—添加白名单由于集群中添加克隆节点较为容易，如果不做如何措施，都可访问到NameNode.所以，创建一份白名单，添加到白名单的主机节点，都允许访问NameNode，不在白名单的主机节点，都会被退出。配置白名单的具体步骤如下1. 在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件[root@hadoop03 hadoop]# touch dfs.hosts[root@hadoop03 hadoop]# vim dfs.
2020-05-11 13:56:27
387
原创 Hadoop源码编译最后一步出现错误
hadoop源码编译出现错误在编译hadoop源码时，最后一步通过maven执行编译命令出错[root@hadoop06 hadoop-2.7.2-src]# mvn package -Pdist,native -DskipTests _Dtar出现的错误[INFO] Scanning for projects...Downloading: http://repo.maven.apac...
2020-05-07 18:03:57
677
3
原创 完全分布式----集群时间同步
完全分布式----集群时间同步时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。配置时间同步具体实操：1. 时间服务器配置（必须root用户）（1）检查ntp是否安装[root@hadoop03 ~]# rpm -qa | grep ntp出现如下三句，就是已经安装ntp-4.2.6p5-10.el6.centos...
2020-05-07 10:24:55
241
原创 Hadoop常用端口号总结
Hadoop 常用端口总结在我的Hadoop学习之路上持续更新，冲鸭端口 50070 ：查看HDFS端口 8088 ：查看mapreduce，程序运行进程
2020-05-06 20:43:45
346
原创 完全分布式----集群启动停止方式总结
完全分布式----集群启动停止方式总结1 各个模块分开启动/停止常用方式（配置SSH是前提）1.1 整体启动/停止HDFSstart-dfs.sh / stop-dfs.sh1.2 整体启动/停止yarnstrat-yarn.sh / stop-yarn.sh2 各个服务器组件逐一启动/停止2.1 分别启动/停止HDFS组件hadoop-daemon.sh start/sto...
2020-05-06 20:38:37
342
原创 完全分布式--集群群起
完全分布式——集群群起超级关键关键关键★集群部署规划1.配置slaves首先在hadoop03中配置[root@hadoop03 ~]# vim /opt/module/hadoop-2.5.0-cdh5.3.6/etc/hadoop/slaveshadoop03hadoop04hadoop05在文件中添加的内容，不允许有的多余的空格，以及空行在hadoop03中使用xs...
2020-05-06 18:13:41
274
原创 SSH无密登陆配置
SSH无密登陆配置1. 配置SSH基本语法 ssh 另一台电脑的ip 地址即可登陆到另外一台设备上[root@hadoop05 hadoop-2.5.0-cdh5.3.6]# ssh hadoop03The authenticity of host 'hadoop03 (192.168.235.130)' can't be established.RSA key fingerp...
2020-05-06 16:13:59
219
原创 完全分布式-集群单点启动
完全分布式–集群单点启动记录一下自己学习hadoop时的一些知识点集群在之前已经部署好windows和linux的主机映射也都设置好对应：centos03 hadoop03 192.168.235.130centos04 hadoop04 192.168.235.131centos05 hadoop05 192.168...
2020-05-06 14:22:15
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人