![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
水水水水月
这个作者很懒,什么都没留下…
展开
-
hadoop第二坑 fs
貌似昨晚就开始纠结这个东西了,当然其实现在我也没有特别弄明白。 事情是这样的,我在继续进行《hadoop权威指南第三版》的练习,P57,上传文件和下载文件的练习。1、首先,你hdfs -ls,一般会报错,说木有’.’这个文件。当然你换成绝对路径就正常了,这个坑爹的事情有博客有如下解释:默认的寻址路径上的用户名和当前登录的用户名不一样,从而出现找不到目录的状况。2、jps之后没有datanode。查原创 2017-03-01 12:19:59 · 409 阅读 · 0 评论 -
第一个maven+hadoop项目
虽然想到了第一个项目会花一些时间,但也不用真的特别久。 代码没什么好讲的,《hadoop权威指南第三版》第二章,就是MaxTemperature的那个。典型的为了讲解而杀鸡用牛刀的案例。 源代码在https://github.com/tomwhite/hadoop-book/tree/master/ch02。遇到的问题有:1、Job和JobConf类型。 FileInputFormat.原创 2017-02-28 18:33:43 · 1239 阅读 · 0 评论 -
hadoop第三坑
看书的进度比我预计的要慢一些。坑太多,需要慢慢爬。 依旧是MaxTemperature的联系。添加了一些测试MRUnit的测试之类的。 遇到的问题如下: 1 MRUnit的依赖添加不进来。 在dependency导入是,1.1.0以及1.0.0版本均有问题。然后我换到0.8.0-incubating版本忽然就好了。由于还没有去看源码,所以没有办法确认是什么版本差异导致了这个原因。2原创 2017-03-07 13:41:12 · 1432 阅读 · 0 评论 -
HDFS小坑
No FileSystem for scheme: hdfs的修改历程原创 2017-04-17 10:14:05 · 988 阅读 · 0 评论