hadoop理论知识

一、6层架构

1、数据源 DataSource
生产线上的数据
2、数据仓库 dataMars ---Hbase Hive
其中一部分数据是我们感兴趣或者需要的，通过ETL过程，放到特定的数据库中。
3、数据探索|分析 data exploration 
对数据进行指标分析（简单粗略的加工）：平均 最小 最大 方差 或者SQL进行查询等
目标跟手段都比较清晰
4、数据挖掘 data mining
以知识或规律为主 
结果跟手段都不清晰
类似名词：模式识别（机器人） 人工智能  机器学习
挖掘任务：关联分析 聚类分析 孤立点分析  频繁模式挖掘
3/4 MapReduce Pig脚本 Mahout
5、数据表现层 data presentations
将一些不直观的，抽象的数据转为人眼能够看得出来的业务直观感
6、Making Decisions
在图表基础上，做一些决策，一般由业务人员决定


为什么要使用大数据：
数据量大
非结构化、半结构化存储，易扩展
速度快，吞吐量大

二、jdk环境变量

export JAVA_HOME=/usr/java/jdk1.8.0                                             
export JRE_HOME=$JAVA_HOME/jre                                                  
export PATH=$PATH:$JAVA_HOME/bin                                                
export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

三、hadoop环境变量

四、简单测试hadoop

链接内容：
http://www.linuxidc.com/Linux/2012-12/75751.htm


但是里面命令行2.X一改变
 


datanode启动不了
http://blog.csdn.net/ludonqin/article/details/51396187


nodemanager did not stop gracefully after 5 seconds: killing with kill -9

五、eclipse集成hadoop

在win7环境中搭建eclipse64开发系统，配置hadoop的eclipse插件，让eclipse可以查看到hdfs中的文件内容。
搭建步骤：
  1. 安装下载的jdk，并Java相关配置环境变量。
  2. 解压下载的eclipse压缩包。
  3. 将hadoop-eclipse-plugin-2.5.2.jar移动到${eclipse.home}/plugins文件夹中。
  4. 重启eclipse。
  5. 切换视图到MapReduce试图下，配置连接信息。
  6. 进行上传和下载验证是否安装成功。

遇到的问题：
在eclipse上面不能创建文件
解决方案：
1、修改hdfs-site.xml，将默认的鉴权修改为不鉴权

2、eclipse中报错如下：
An internal error occurred during: "Map/Reduce location status updater". java.lang.NullPointerException
解决：
我们发现刚配置部署的Hadoop2还没创建输入和输出目录，先在hdfs上建个文件夹 。
#bin/hdfs dfs -mkdir –p /user/hadoop/input
#bin/hdfs dfs -mkdir -p  /user/hadoop/output

Exception in thread "main" java.lang.NullPointerException atjava.lang.ProcessBuilder.start(Unknown Source)
运行Hadoop2的WordCount.java代码时出现了这样错误，

分析：
  下载Hadoop2以上版本时，在Hadoop2的bin目录下没有winutils.exe
解决：
  1.下载https://codeload.github.com/srccodes/hadoop-common-2.2.0-bin/zip/master下载hadoop-common-2.2.0-bin-master.zip，然后解压后，把hadoop-common-2.2.0-bin-master下的bin全部复制放到我们下载的Hadoop2的binHadoop2/bin目录下。如图所示：