hadoop
文章平均质量分 87
Yuhua Wang
这个作者很懒,什么都没留下…
展开
-
关于Mac中ssh: connect to host localhost port 22: Connection refused
在Mac OS X 10.10.5学习hadoop的过程中,输入命令ssh localhost得到ssh: connect to host localhost port 22: Connection refused解决方法是选择系统偏好设置->选择共享->点击远程登录然后再输入命令ssh localhost发现已经解决问题找到解决方案来自于htt翻译 2016-10-21 15:23:08 · 29088 阅读 · 12 评论 -
StreamCompressor实现过程中的一些问题
本文用于复习《Hadoop权威指南》第四章第一部分内容代码来自于书中,仅有少部分修改,主要是为了回忆起来方便书中终端命令为“$ echo “Hello wyh” | hadoop StreamCompressor org.apache.hadoop.io.compress.GzipCodec | gunzip ”但实际难以实现(这点暂且怀疑),本文主要处理问题为如何实现目标,以及实现过程中出现一些问原创 2017-02-28 10:47:05 · 913 阅读 · 0 评论 -
Eclipse实现DFS部分操作复习(2)
本文用于复习《Hadoop权威指南》第三章后半部分内容代码来自于书中,仅有少部分修改,主要是为了回忆起来方便在文章eclipse实现word count中就有关于如何在eclipse中开发hadoop项目,链接如下Eclipse实现Hadoop WordCount利用FileSystem的listStatus方法来读取文件和目录的元数据,再用stat2path方法讲status数组转为path数组原创 2016-12-01 16:24:07 · 732 阅读 · 0 评论 -
Eclipse实现DFS部分操作复习(1)
本文用于复习《Hadoop权威指南》第三章部分内容代码来自于书中,仅有少部分修改,主要是为了回忆起来方便,顺便用下刚刚学习的MarkDown在文章eclipse实现word count中就有关于如何在eclipse中开发hadoop项目,链接如下Eclipse实现Hadoop WordCount用setURLStreamHandlerFactory方法来实现以标准格式显示Hadoop文件系统里面的原创 2016-11-30 16:30:52 · 675 阅读 · 0 评论 -
hadoop之端口被占用问题namenode无法启动
namenode日志报错org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOExceptionjava.net.BindException: Port in use: 0.0.0.0:50070查询stackoverflow,发现解决方式为在hdfs-site.xml文件中修改端口,添加原创 2016-11-02 16:32:39 · 8543 阅读 · 0 评论 -
Eclipse实现Hadoop WordCount
首先,安装eclipse,下载 hadoop-eclipse-plugin, https://github.com/winghc/hadoop2x-eclipse-plugin,将下载好的jar包放到eclipse安装目录的plugin文件夹里面,重启eclipse其次,在mac下eclipse的preference在菜单栏Eclipse->偏好设置(preference),打开选择Hadoo原创 2016-11-29 17:22:57 · 952 阅读 · 0 评论 -
Mac配置Hadoop遇到的一些问题
在Mac OS X 10.10.5中参考《hadoop实战第2版》配置hadoop(虽然该书已经有点老了,可以同时参考其他博文和官方文档)0.据书上说要先安装Xcode,由于一直有Xcode,不知这步是否必要1.首先安装Homebrew 未遇到问题 可以参考百度经验http://jingyan.baidu.com/article/fec7a1e5ec30341190b4e7e5.h原创 2016-10-21 17:23:08 · 1432 阅读 · 2 评论 -
Hadoop之wordcount有感
Hadoop wordcount准备阶段出现的一些问题总结作者在解决问题过程中遇到的很有帮助的一个博客就是来自如下地址,特别放在文首感谢!http://www.powerxing.com/install-hadoop/文件调整 就上篇hadoop配置而言,由于未认识到hadoop2.x的版本配置方面稍有不同,所以在做wordcount的sample之前先进行了改进。 不同在于mapred-si原创 2017-03-03 09:18:17 · 322 阅读 · 0 评论