大数据Hadoop之环境搭建

1.环境参数

• 编程语言：JAVA
• Linux环境：Centos 6.4
• Hadoop版本：CDH （hadoop-2.6.0-cdh5.7.0）

2.下载地址

• JAVA JDK（版本：jdk-7u79-linux-x64）
  http://www.downza.cn/tags/jdk-7u79-linux-x64/
• Hadoop（版本：hadoop-2.6.0-cdh5.7.0）
  http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz

3.相关的Linux操作

• 1）使用管理员账号登陆Linux，建立用户hadoop 密码123456：

[root@chao ~]# adduser hadoop
[root@chao ~]# passwd hadoop

• 2）把下载的压缩包发送到Linux，macOS终端命令：

scp jdk7u79linuxx64.tar hadoop@192.168.27.131:~

• 3）解压文件

tar -xvf file.tar //解压 tar包
tar -zxvf file.tar.gz //解压tar.gz

// 例如：
[hadoop@chao ~]$ tar -zxvf hadoop-2.6.0-cdh5.7.0.tar -C ./app/

• 4）如果没有相关命令：可以用下面的命令安装：

sudo yum install openssh-clients // 安装scp
sudo yum install ssh  // 安装ssh

• 5）JDK和Hadoop都是解压就可以了，为方便使用命令还要进行环境配置：

[hadoop@chao ~]$ vi ~/.bash_profile 

// 配置文件里添加（一个是jdk，一个是hadoop）：
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[hadoop@chao ~]$ source ~/.bash_profile

• 6）ssh免密登录配置方法：

[hadoop@chao ~]$ ssh-keygen -t rsa
// 然后不输内容全部回车,下面操作中的文件名不要修改
[hadoop@chao ~]$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[hadoop@chao ~]$ cat ~/.ssh/authorized_keys

// 终端测试：
ssh localhost
exit
ssh 192.168.27.131
exit

• 7）ll命令看不到.*的隐藏文件，用ls -la可查看

ls
ll
ls -la

4.Hadoop配置文件的修改

• 配置文件目录：/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/
• 1）hadoop-env.sh 中添加：

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

• 2）core-site.xml 中添加：

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop000:8020</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/app/tmp</value>
</property>

5.下一步：进行HDFS配置

• 参看下一篇：《大数据Hadoop之HDFS》