hadoop相关
ITWords
本人主要深入研究语言java、scala,擅长方向大数据开发,java编程,系统建设和架构。
展开
-
Problem binding to [0.0.0.0:50010] java.net.BindException: 地址已在使用;
今天在使用的hadoop跑一个程序,结果datanode怎么也起不来。查看log,发现是Problem binding to [0.0.0.0:50010] java.net.BindException: 地址已在使用;这个问题,但是查询端口时候,发现端口 并没有被占用啊,格式化了很多次都不行。最后发现可能是用户的问题。于是乎从普通用户切换到root,发现50010这个端口真的被占用了。我的真的很...原创 2020-03-18 00:35:32 · 2913 阅读 · 3 评论 -
11 Sep 11:12:33 ntpdate[30892]: the NTP socket is in use, exiting
https://blog.csdn.net/c77_cn/article/details/45741831转载 2019-08-13 17:21:10 · 120 阅读 · 0 评论 -
contos6编译hadoop完整版
1 查看当前的centos是多少位的[root@node3 sbin]# uname -aLinux node3 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux[root@node3 sbin]# getconf LONG_BIT64[root@n...原创 2019-08-13 21:15:57 · 105 阅读 · 0 评论 -
Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl
https://blog.csdn.net/l1028386804/article/details/51538611转载 2019-08-10 20:01:56 · 307 阅读 · 0 评论 -
在centos6中配置主机名映射的时候,在物理机无法ping到问题解决
需要在物理机的C:\Windows\System32\drivers\etc\hosts配置如:192.168.100.101datanode1192.168.100.101:是虚拟机的IP地址datanode1:是主机名称添加以后即可ping到...原创 2019-08-12 12:15:48 · 424 阅读 · 0 评论 -
rsync: mkstemp "/usr/local/bin/.xsync.WkaiVN" failed: Permission denied (13)
错误一:用户的权限不对,例如node2要给ndoe3和node4要给root用户发送,结果呢你在node2的窗口下使用的是其他的用户名,就会失败。解决方法:使用root用户来给其他的主机发送信息。错误二:[root@test01 etc]# getenforceEnforcing果然是enforce模式,然后[root@test01 etc]# setenforce...原创 2019-08-12 18:10:42 · 2753 阅读 · 0 评论 -
hadoop1.x和hadoop2.x区别
在hadoop1.x的时代,hadoop的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大,在hadoop2.x的时代,增加了Yarn了,Yarn只负责资源的调度,MapReduce只负责运算。...原创 2019-09-11 15:19:59 · 161 阅读 · 0 评论 -
大数据的生态简介和常用组件介绍
原创 2019-09-11 15:20:50 · 379 阅读 · 0 评论