hadoop学习过程（一）

内容提示：
——双系统安装（Ubuntu）
——Hadoop 伪分布式安装
——Ubuntu下eclipse的下载安装与配置
——eclipse中Maven插件的下载安装与配置
——eclipse中hadoop插件的下载安装与配置
——HDFS bash命令
——HDFS Java API 基本编程

注：Ubuntu安装与卸载mysql,jdk,eclipse,tomcat,workbench
参考链接：https://blog.csdn.net/t1dmzks/article/details/52079791

一、Linux系统安装（Ubuntu16.0.4LTS）双系统安装
第一步：制作安装 U 盘
参考链接：http://jingyan.baidu.com/article/59703552e0a6e18fc007409f.html
第二步：双系统安装
参考链接：http://jingyan.baidu.com/article/dca1fa6fa3b905f1a44052bd.html
注：
1.Ubuntu下载地址：https://www.ubuntu.com/download/desktop
（如：ubuntu-16.04.4-desktop-amd64.iso）
2.安装前设置U盘启动，打开BIOS设置启动项（不同型号的电脑不同）
3.安装的过程中最好不要联网
二、Hadoop 伪分布式安装
参考链接：https://www.cnblogs.com/87hbteo/p/7606012.html

创建hadoop用户->设置无密码登录->JDK的下载与安装配置->
hadoop的下载与安装配置->伪分布式配置->启动hadoop->运行实例

1.创建hadoop用户
sudo useradd -m username -s /bin/bash #/bin/bash作为shell
sudo passwd 123 #设置密码，如：123
sudo adduser username #sudo为用户增加管理员权限
su - lln #切换当前用户为lln
2.安装SSH,设置SSH无密码登陆
sudo apt-get install openssh-server #安装SSH server
ssh localhost #登陆SSH，第一次登陆输入yes
exit #退出登录的ssh localhost
cd ~/.ssh/ #如果没法进入该目录，执行一次ssh localhost
ssh-keygen -t rsa　　#接下来连续敲击三次enter键
cat ./id_rsa.pub >> ./authorized_keys #加入授权
ssh localhost #此时即可免密码登录
3.JDK的下载安装与配置
下载：http://www.oracle.com/technetwork/java/javase/downloads/index.html
（如：jdk-8u162-linux-x64.tar.gz）
解压：sudo tar zxvf jdk-7u80-linux-x64.tar.gz -C /usr/lib/jvm （ 解压到/usr/lib/jvm目录下）
配置：vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

生效：source ~/.bashrc
查看版本号：java -version
注：
vim的安装：sudo apt-get install vim

4.hadoop的下载安装与配置
下载：http://hadoop.apache.org/releases.html
（如：hadoop-2.6.5.tar.gz）
解压：sudo tar -zxvf hadoop-2.6.0.tar.gz -C /usr/local （解压到/usr/local目录下）
权限：sudo chown -R hadoop ./hadoop #修改文件权限
配置：

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效：source ~./bashrc
查看版本号：hadoop version

5.伪分布式配置
修改core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改配置文件 hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

NameNode 的格式化： ./bin/hdfs namenode -format
启动hadoop：./sbin/start-all.sh
查看java进程：jps
Web 界面查看： http://localhost:50070

注：
localhost:9000failed on connection exception:java.net.ConnectException:拒绝链接
解决：通常是namenode没有启动，检查配置路径是否出错（core-site.xml、hdfs-site.xml）

6.Hadoop运行WorldCount示例
找到hadoop自带worldcount jar包示例的路径->准备需要的输入输出路径以及上传的文件->运行实例
路径：cd /usr/local/hadoop-2.6.5/share/hadoop/mapreduce
创建目录： hadoop fs -mkdir -p /data/wordcount
hadoop fs -mkdir -p /output/

本地创建输入文件：vim /usr/inputWord
上传至HDFS：hadoop fs -put /usr