大数据之hadoop（1）二进制简易安装（简单配置之启动）

大数据之hadoop二进制简易安装（简单配置之启动）
本节课主要简单配置hadoop。简单启动。其配置文件简单配置。不做任何说明。

1检查系统环境。

2下载hadoop软件，去官网下载二进制文件。下载相关的官方文档说明。

基本上任何不理解的问题都是官网去查询。
本次hadoop下载是使用hadoop-2.6.0-cdh5.7.0.tar.gz版本
本次使用java版本jdk1.7.0_80。官网有相关软件安装版本要求。请记得查询。

3下载Hadoop和JDK

下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
下载jdk：注册甲骨文账号下载，推荐1.7版本

4 #建立相关文件目录添加相关账户

#useradd hadoop
#passwd hadoop
#su - hadoop
$cd
$mkdir -p app/
上传hadoop文件到app目录下，执行解压缩！
$tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz

5,添加全局坏境变量和hadoop用户环境变量。

添加hadoop个人环境变量
[hadoop@hadoop002 ~]$ vi .bash_profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOO{P}_{P}REFIX/bin:$JAVA_HOME/bin:KaTeX parse error: Expected 'EOF', got '#' at position 13: PATH 添加全局变量 #̲vi /etc/profile… ll /usr/java/
total 319160
drwxr-xr-x 8 root root 4096 Apr 11 2015 jdk1.7.0_80
drwxr-xr-x 8 root root 4096 Apr 11 2015 jdk1.8.0_45
-rw-r–r-- 1 root root 153530841 Jul 8 2015 jdk-7u80-linux-x64.tar.gz
-rw-r–r-- 1 root root 173271626 Sep 19 11:49 jdk-8u45-linux-x64.gz
[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ echo KaTeX parse error: Expected 'EOF', got '#' at position 33: …va/jdk1.7.0_80 #̲which java （是否是… tar -xzvf hadoop-2.6.0-cdh5.7.0.tar.gz
[hadoop@hadoop002 app]$ cd hadoop-2.6.0-cdh5.7.0
[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$

6 ssh无密码登录配置

[hadoop@hadoop002 hadoop]$ cd
[hadoop@hadoop002 ~]$
[hadoop@hadoop002 ~]$
[hadoop@hadoop002 ~]$ rm -rf .ssh
[hadoop@hadoop002 ~]$ ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa （私钥）
[hadoop@hadoop002 ~]$ cat ~/.ssh/id_dsa.pub > ~/.ssh/authorized_keys
[hadoop@hadoop002 ~]$ cd .ssh
[hadoop@hadoop002 .ssh]$ ll
total 12
-rw-rw-r-- 1 hadoop hadoop 606 Sep 19 23:16 authorized_keys
-rw------- 1 hadoop hadoop 668 Sep 19 23:16 id_dsa
-rw-r–r-- 1 hadoop hadoop 606 Sep 19 23:16 id_dsa.pub（公钥）
[hadoop@hadoop002 .ssh]$ chmod 600 authorized_keys
[hadoop@hadoop002 .ssh]$
[hadoop@hadoop002 .ssh]$ ssh hadoop002（登录无需密码）

7，修改hadoop配置文件

- 修改 hadoop-env.sh 添加环境变量

• [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ cd etc/hadoop
  [hadoop@hadoop002 hadoop]$ vi hadoop-env.sh
  export JAVA_HOME=/usr/java/jdk1.7.0_80
  export HADOOP_PREFIX=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
  [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ bin/hadoop
  Usage: hadoop [–config confdir] COMMAND
  where COMMAND is one of:

- 修改core-site.xml （hadoop001为生产主机hostname）

• [hadoop@hadoop002 hadoop]$ vi core-site.xml
  
  
  fs.defaultFS
  hdfs://hadoop001:9000
  
  

- 修改hdfs-site.xml

[hadoop@hadoop002 hadoop]$ vi hdfs-site.xml


dfs.replication
1

- 修改slaves 。添加主机名称

$echo ‘hostname’ > slaves

8 启动hadoop

[hadoop@hadoop002 ~]$ which hdfs
~/app/hadoop-2.6.0-cdh5.7.0/bin/hdfs
[hadoop@hadoop002 ~]$ cd ~/app/hadoop-2.6.0-cdh5.7.0
[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$
[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ bin/hdfs namenode -format
[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ sbin/start-dfs.sh
[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ jps
28288 NameNode
28686 Jps
28410 DataNode
28575 SecondaryNameNode
[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$

以上是简单配置hadoop默认配置文件没有做改动。目录结构没有调整。
core_site.xml hdfs_site.xml 没有配置详细目录文件。