![](https://img-blog.csdnimg.cn/baddd1bbdac5447d8f98a41ef8a0f689.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
hadoop安装使用规范及错误问题收录
//承续缘_纪录片
这个作者很懒,什么都没留下…
展开
-
不配置hosts文件,访问阿里云服务器hadoop集群的kafka
问题:没有配置hosts文件,不能向hadoop集群的kafka发送数据原因:1.阿里云服务器返回的是内网IP解决:1.检查阿里云服务器的防火墙,及访问策略。释放相关端口,否则将访问不到服务。2.要配置vi /etc/hosts外网ip : 主机名 比如 114.113.112.111 :kafka-test3.配hosts文件映射公网4.修改kafka/config/server.properties(将内网IP映射成外网ip)# The id of the broker.原创 2021-08-03 20:06:46 · 603 阅读 · 0 评论 -
hadoop集群搭建
hadoop集群搭建1.准备虚拟机1.准备一台最小化安装的虚拟机2.修改配置文件vi /etc/sysconfig/network-scripts/ifcfg-env33onboot=yes网卡接口配置ONBOOT是指明在系统启动时是否激活网卡,只有在激活状态的网卡才能去连接网络,进行网络通讯修改临时id注意:新创建虚拟机不能使用vim,需要yum云安装 说清楚情况阿,一般linux默认不带vim的,都是vi。。。vim需要自己安装3.重启network服务systemct原创 2020-12-29 16:48:06 · 250 阅读 · 0 评论 -
Hadoop HA 重新格式化
1.停止hadoop所有服务HADOOP_HOME/sbin/stop-all.sh 2.清除所有数据rm -rf logs/ tmp/3.清除根目录下hadoop临时文件rm -rf /tmp/hadoop/格式化的时候,在 /tmp/hadoop/dfs/journalnode/mycluster/current 目录下不为空。需要在三台机器下进行清空,只在一台是不行的,而且每次格式化还会生成新的文件,再次格式化还需要清空current下的文件。4.在各台机器上启动journal原创 2021-11-12 16:22:10 · 2756 阅读 · 0 评论