![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 60
xiaoyu_2011
这个作者很懒,什么都没留下…
展开
-
Ubuntu中安装hadoop(伪分布式模式)
1.安装环境配置 1)安装java 2)安装SSH $sudo apt-get install ssh 3)解压hadoop安装包 $tar -zxvf hadoop-0.20.2.tar.gz 4)编辑conf/hadoop-env.sh文件 gedit conf/hadoop-env.sh 在文件中修改export JAVA_HOME=jdk安装转载 2015-04-27 15:19:08 · 372 阅读 · 0 评论 -
hadoop版的Hello,World
成功安装了Hadoop,试试让神象奔跑起来的感觉吧。Hadoop自带的WordCount实例可以统计一批文本文件中各单词出现的次数,这样就可以让读者轻松地站在象背上说"hello,world"了。下面介绍如何执行WordCount实例。 首先,新建一个目录,在这里以“input”命名: $mkdir input $cd input 然后,在这里新建“te转载 2015-04-27 17:14:20 · 510 阅读 · 1 评论 -
搭建基于eclipse的hadoop开发环境的笔记
常见问题:1)Error:Call to localhost/127.0.0.1:9001 failed on connection exception:java.net.ConnectException: Connection refused看看namenode是否启动,若没有,重新格式化一下 $bin/hadoop namenode -format,再启动。2)out输出文件夹若已原创 2015-05-06 12:56:53 · 481 阅读 · 1 评论 -
hadoop学习笔记(倒排索引)
本文是在eclipse环境中运行hadoop程序,创建工程以及环境搭建请参照我之前写的几篇博文http://blog.csdn.net/xiaoyu_2011/article/category/3148479这次编写倒排索引程序遇到几个小问题,故做个笔记。DFS文件结构如下:还有源码:InvertedIndex.javaimport java.io.IOEx原创 2015-06-29 14:00:27 · 667 阅读 · 0 评论 -
HBase学习笔记
最近在学习HBase,安装好后使用shell命令时遇到一个奇怪的问题,如下:The node /hbase is not in ZooKeeper. It should have been written by the master. Check the value configured in 'zookeeper.znode.parent'. There could be a misma原创 2015-07-01 14:08:26 · 443 阅读 · 0 评论 -
Linux环境在eclipse中运行HBase程序
本文是一个WordCount将MapReduce与HBase结合起来的例子,首先需要给HDFS上传两个文件01.txt(包含内容为:hello world bye world)和02.txt(包含内容:hello hadoop bye hadoop)。在项目HBase下增加一个文件夹conf,将Hbase集群的配置文件hbase-site.xml复制到该目录,然后选择项目属性在Libraries-原创 2015-07-03 15:14:13 · 890 阅读 · 0 评论