鱼归不知处

1. 配置PATH #vi /etc/profile export JAVA_HOME=/usr/java/jdk1.6.0_32 export PATH="$JAVA_HOME/bin:$PATH" export HADOOP_PREFIX=/home/hadoop/hadoop-2.4.0 export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"

MapReduce 框架的核心步骤主要分两部分：Map 和Reduce。当你向MapReduce 框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map 任务，然后分配到不同的节点上去执行，每一个Map 任务处理输入数据中的一部分，当Map 任务完成后，它会生成一些中间文件，这些中间文件将会作为Reduce 任务的输入数据。Reduce 任务的主要目标就是把前面若干个Map 的输出汇总到一起

配置截图如下：

1、下载tar包下载 hadoop-2.6.0-cdh5.5.2-src.tar.gz2、解压并查看# tar zxvg hadoop-2.6.0-cdh5.5.2-src.tar.gz # head -15 BUILDING.txt Build instructions for Hadoop ---------------------------------------------------...

运行 spark-shell --master yarn-client，报错如下： 解决办法：  先停止YARN服务，然后修改yarn-site.xml，增加以下内容： <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</val...

解决方案： 1、修改目录权限 su hdfs hdfs dfs -chmod 1777 /tmp/logs hdfs dfs -chown mapred:hadoop /tmp/logs hdfs dfs -chgrp -R hadoop /tmp/logs 2、重启JobHistory Server

1、Hive执行SQL语句，出现如下错误： Container is running beyond physical memory limits. Current usage: 4.3 GB of 4 GB physical memory used; 8.9 GB of 8.4 GB virtual memory used. Killing container. 2、错误分析： 4....

1、错误：unsupported key type found the default TGT: 18 GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)] * 原因：这个是AES256加密算法，...