Hadoop
文章平均质量分 53
wwwlxz123
大学生
展开
-
org.apache.hadoop.security.accessControlexception.permission denied
配置eclipse连接hadoop时可能会出现权限问题: 我们需要修改hdfs-site.xml文件,在其中添加权限:<property> <name>dfs.permissions</name> <value>false</value></property>原创 2015-03-20 14:54:34 · 427 阅读 · 0 评论 -
org.apache.hadoop.hdfs.server.namenode.safemode.exception
遇到的问题: 解决办法:./hadoop dfsadmin -safemode leave原创 2015-03-20 14:57:51 · 594 阅读 · 0 评论 -
Hadoop环境搭建
Hadoop有三种环境:单机模式、伪分布式、完全分布式。由于资源有限,所以这里搭建一个伪分布式环境。 不多说直接上手:1 SSH建立等效用户Hadoop本是建立在分布式环境下的,不同的节点之间相互通信是要建立SSH等效用户的。虽然在这里搭建的是伪分布式环境,但是Hadoop环境也要求建立ssh等效用户。 通过命令ps -e|grep ssh可以查看是否有ssh进程在运行。 命令ssh-ke原创 2015-03-12 16:56:04 · 520 阅读 · 0 评论 -
hbase伪分布式搭建
下载hbase-0.94.16.tar.gz并解压到/home/hadoop/hbase 修改系统配置文件vim /etc/profile 保存并退出,然后source /etc/profile 修改hbase配置文件 修改/home/hadoop/hbase/hbase-0.94.16/conf/hbase-env.sh文件,在最后一行添加如下配置: 添加export HBA原创 2015-04-13 19:21:00 · 421 阅读 · 0 评论 -
hadoop2.xWordCount执行过程-客户端部分
如下展示wordCount程序的部分: public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRe原创 2016-03-28 17:50:37 · 482 阅读 · 0 评论