hadoop
chenxi yan
stay hungry, stay young.
展开
-
Hadoop集群时间同步(一定成功)
废话一波吧,之前学过了,懒得看前面的视频,百度看了十几篇博客,也没成功,再看原来的视频配成功了,真香。直达链接实验环境:三台centos6.8实验心情:及其不好实验说明:三台服务器分别是hadoop102、hadoop103、hadoop104,这里是以102作为时间服务器(服务端),103、104作为客户端同步102的时间。配置如下:配置时间同步具体实操:时间服务器配置(必须root用户)(1)检查ntp是否安装[root@hadoop102 桌面]# rpm -qa|grep ntp原创 2020-06-18 09:58:25 · 1261 阅读 · 0 评论 -
java.net.UnknownHostException: hadoop135: hadoop135: unknown error
意思就是找不到主机名,添加一下映射就可以了。vim /etc/hosts例如:192.1.1.1 hadoop135wanshi !原创 2020-06-11 17:03:20 · 334 阅读 · 0 评论 -
Hadoop编译源码(面试重点)
昨天开始编译的,也不算是踩坑。跟着尚硅谷教程走的,直接分享一下老师的笔记吧。提个醒,编译过程有几次一直出现“-------”这玩意,不代表完成了,要等到后面那张图才代表完事了。我编译了大概90分钟,按教程搞,一遍过。再说点吧,教程是这么操作的,root用户,在"/opt" 目录下新建“software”目录放jar包,新建“module”目录放解压jar包的软件。然后再把这两个目录的权限改成普同用户,不然编译时会报错。环境:centos 6.8所需jar包链接:链接:https://pan.baidu.原创 2020-06-01 15:20:29 · 180 阅读 · 0 评论 -
namenode格式化的正确方式
踩了不少坑,总结一下吧。1、停掉所有节点2、删除 data 数据和logs日志3、开始格式化namenode节如果不删除数据和日志的话,重新格式化namenode会产生新的集群ID,这样会和datanode的集群ID产生冲突,导致namenode启动失败。还有就是注意如果出现namenode或者datanode把对方挤掉的情况,很可能是使用了root账户启动了节点,这时候应该切换到root账户查看进程,如果有的话,停止节点,删除数据和日志,问题差不多就解决了。...原创 2020-05-31 12:33:55 · 5502 阅读 · 0 评论 -
scp命令报错Could not resolve hostname hadoop131: Name or service not knownlost connecti
报错原因就是没有添加其他主机的映射,配置如下:vim /etc/hosts原创 2020-05-25 11:04:55 · 2891 阅读 · 0 评论 -
Hadoop上传文件报错: File /user/cookie/input/wc.input._COPYING_ could only be replicated to 0 nodes instead
实验环境centos6.8hadoop版本:2.7.2初学入门,不足之处还请见谅。一、情景如下:jps查看进程时发现namenode节点时有时无,于是多次格式化namenode,然后上传文件就开始报错。细心的话可以发现再次格式化过程中会有确认消息。大佬说是这个问题一般是由于使用hadoop namenode -format 格式化多次,导致spaceID不一致造成的。二、解决方法(以下操作均在hardoop安装目录里执行)1、停止所有节点stop-all.sh#会有提示信息:This scri原创 2020-05-22 19:56:14 · 1920 阅读 · 0 评论 -
主机与centos虚拟机互ping配置,超级详细
实验环境:win10及centos6.8一、centos6.8配置1、设置静态ipvim /etc/sysconfig/network-scripts/ifcfg-eth0输入i键进行编辑模式,配置如下:ONBOOT=yesBOOTPROTO=staticIPADDR=192.168.188.129NETMASK=255.255.255.0GATEWAY=192.168.188.2 DNS1=192.168.188.2 #切记不可直接写DNS,之前找错找的吐血完成后,esc键退出原创 2020-05-21 17:53:31 · 776 阅读 · 0 评论