hadoop
shanghome
你还可以比你想象的更好
展开
-
Hadoop 求出哪些人两两之间有共同好友,及两两的共同好友都有谁
源数据(xxx的好友列表):A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J1、先求A,B,C...是谁的好友,也就是说,哪些人的友好里有A,哪些人的友好里有...原创 2020-01-10 16:45:48 · 552 阅读 · 2 评论 -
hadoop读取文件时,报错java.io.EOFException
计划比较两个字符串的大小,所以再写实体类的时候,把比较的参数写成了String类型,通过String的compareTo方法进行比较,结果报错java.io.EOFException。 实体类实现了WritableComparable接口,在实现接口方法public void write(DataOutput out)和public void readFiel...原创 2020-01-05 16:38:40 · 709 阅读 · 0 评论 -
hadoop安全模式
hadoop在安全模式下,是不能在hdfs上操作数据的,所以,如果你出现上次文件失败,这是一种失败的原因。bin/hdfs dfsadmin -safemode enter:进入安全模式bin/hdfs dfsadmin -safemode leave:离开安全模式bin/hdfs dfsadmin -safemode get:获取安全模式bin/hdfs dfsadmin -sa...原创 2019-12-09 20:41:26 · 233 阅读 · 0 评论 -
hadoop启动遇到的免登录问题
今天启动虚拟机,突然SecureCRT就连不上我的虚拟机了,查了半天没找到问题 ,结果关了VMware,重新打开,OK了。奇怪的很呐。经此一事,突然感觉今晚上的hadoop会出幺蛾子。 真是想啥来着啊。连接上之后,cd到hadoop的目录,启动hdfs,OK,一切正常。启动yarn,我去,出事了。The authenticity of host 'hadoop101 ...原创 2019-12-09 20:15:06 · 367 阅读 · 1 评论 -
win10编译hadoop2.9.2
编译介绍: win10系统 Hadoop2.9.2源码 vs2015编译之前的各种工具的下载,在最后的连接中有。编译成功之后的jar包,也在最后的连接中。编译过程中的各种配置环境变量,网上一搜一大堆,不在此描述。遇到的错误,查看网友的博客差不多都会遇到,下面是两个记录错误的博客: https://blog.csd...原创 2019-12-06 07:23:02 · 846 阅读 · 3 评论 -
centos7.7 安装ntp遇到的问题总结
1、su root 切到root用户2、执行yum install ntp -y结果报错:Error downloading packages:ntp-4.2.6p5-29.el7.centos.x86_64: [Errno 256] No more mirrors to try.头有点大了,百度一下和网络有关系,那就ping www.baidu.com报错:ping: ...原创 2019-11-26 09:05:20 · 5461 阅读 · 1 评论 -
VWware 安装centos7.7,配置静态Ip记录
有些教程中,vi修改的是/etc/sysconfig/network-scripts/ifcfg-eth0,而我的是/etc/sysconfig/network-scripts/ifcfg-ens33so,我得vi/etc/sysconfig/network-scripts/ifcfg-ens33显示ens33的内容:TYPE=Ethernet #...原创 2019-11-14 11:51:19 · 178 阅读 · 0 评论