2016年01月_ITboy-Bear

06月 05月 04月 03月 01月

原创 hadoop下运行mapreduce程序Failed to set permissions of path:的解决

1.运行环境介绍 win7旗舰版，虚拟机vmware workstation 11下Centos6.2-32位，hadoop-1.1.2。在运行mapreduce程序时会发生：Failed to set permissions of path:\tmp\hadoop-zhen\---错误。2.错误格式截图如下： 3.出现原因：Windows下权限检查无法通过，才会

2016-01-19 18:37:27 546

原创 MapReduce发生Permission denied: user=zhen, access=WRITE错误

一.错误介绍. 在进行mapreduce编程时，利用MapReduce程序处理上传至hdfs文件系统下的数据文档时，由于传入的数据文档的权限为644，无法满足supergroup的755权限要求，所以会出现错误。如下二.修改方法。修改配置文件中的设置，找到hdfs-site.xml配置问文件。在文件中添加如下配置关闭hdfs文件系统权限检

2016-01-19 18:34:49 556

原创 hadoop2.2.0伪分布下安装hive

1.环境及软件介绍：CentOS-6.4-x86_64-bin-DVD1.iso hadoop-2.2.0 hive-0.12.0 mysql(为CentOS6.4自带版本为MySQL5.1.66).2.MySQL的安装和卸载使用rpm –qa|grep mysql查看已安装的数据库软件卸载MySQL yum remove mysqlmysql-serve

2016-01-19 18:06:03 941

原创 linux下配置本地yum源仓库

在Linux系统下安装应用软件，不像window下那样方便，有时需要事先安装很多RPM包，而有些RPM包与RPM包之前存在依赖关系，这样安装就会很麻烦。要是配置一个本地yum源仓库，就可以直接使用yum命令，将有依赖的RPM包一次安装。本文以RedHat为例，其他Linux系统类似。1.使用df命令，查看系统光盘挂载位置。2.卸载分区 /dev/sr03

2016-01-19 18:00:29 8531

原创 Hadoop中datanode无法启动

1. 环境描述：虚拟机10，CentOS6.4，伪分布式安装Hadoop。 2. 问题描述：出现datanode无法启动。 3.错误一：指定的文件目录权限不符查看datanode启动日志cat/home/hadoop/hadoop-0.20.203.0/logs/hadoop-hadoop-datanode-hadoop.log查看日志发现这是

2016-01-19 17:39:24 771 1