Hadoop伪分布式安装

1.下载hadoop

11.1：可以去CDH网站下载包
2http://archive.cloudera.com/cdh5/
31.2：下载软件包之后，从本地电脑rz到linux

2.设置java环境变量

 1[root@hadoop001 ~]# mkdir /usr/java/
 2[root@hadoop001 ~]# cd  /usr/java/
 3上传或者下载jdk文件，解压jdk压缩包的时候要注意所属组跟所属用户的相关权限
 4配置/etc/profile环境变量
 5export JAVA_HOME=/usr/java/jdk1.8.0_45
 6export PATH=$JAVA_HOME/bin/:$PATH
 7[root@hadoop001 java]# source /etc/profile
 8[root@hadoop001 java]# java -version
 9java version "1.8.0_45"
10Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
11Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

3.创建hadoop用户

1[root@hadoop001 java]# useradd hadoop
2[root@hadoop001 java]# id hadoop
3uid=515(hadoop) gid=515(hadoop) groups=515(hadoop)

4.创建hadoop相关目录并解压

1[hadoop@hadoop001 ~]$ mkdir app software log data
2将hadoop压缩包解压至software目录
3创建软连接至app目录下
4[hadoop@hadoop001 software]$ ln -s /home/hadoop/software/hadoop-2.6.0-cdh5.7.0 /home/hadoop/app/hadoop

5.配置相关文件参数

 1etc/hadoop/hadoop-env.sh:
 2
 3export JAVA_HOME=/usr/java/jdk1.8.0_45
 4
 5etc/hadoop/core-site.xml:
 6
 7<configuration>
 8    <property>
 9        <name>fs.defaultFS</name>
10        <value>hdfs://localhost:9000</value>
11    </property>
12</configuration>
13
14etc/hadoop/hdfs-site.xml:
15
16<configuration>
17    <property>
18        <name>dfs.replication</name>
19        <value>1</value>
20    </property>
21</configuration>

6.设置ssh

1确保这台机器可以ssh localhost，如果不行的话，可以参照以下做法：
2[hadoop@hadoop001 hadoop]$ ssh-keygen
3[hadoop@hadoop001 hadoop]$ echo ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4[hadoop@hadoop001 hadoop]$ chmod 600 ~/.ssh/authorized_keys
5[hadoop@hadoop001 hadoop]$ ssh localhost
6Last login: Thu Jul  4 16:40:38 2019 from localhost
7[hadoop@hadoop001 ~]$

7.正式开始

 11.格式化文件系统：
 2[hadoop@hadoop001 hadoop]$ bin/hdfs namenode -format
 32.启动服务：
 4[hadoop@hadoop001 hadoop]$ sbin/start-dfs.sh
 5[hadoop@hadoop001 hadoop]$ jps
 630032 Jps
 728389 NameNode
 828695 SecondaryNameNode
 928510 DataNode
10    hadoop日志输出文件在$HADOOP_HOME/logs
113.启动之后直接访问namenode的web页面：
12NameNode - http://localhost:50070/
134.创建MapReduce作业所需的HDFS目录：
14[hadoop@hadoop001 hadoop]$ bin/hdfs dfs -mkdir /user
15[hadoop@hadoop001 hadoop]$ bin/hdfs dfs -mkdir /user/hadoop
165.复制文件到hdfs目录：
17[hadoop@hadoop001 hadoop]$  bin/hdfs dfs -put  etc/hadoop input
18[hadoop@hadoop001 hadoop]$  bin/hdfs dfs -ls /user/hadoop/input
1919/07/04 16:52:36 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
20Found 26 items
21-rw-r--r--   1 hadoop supergroup       4436 2019-07-04 15:57 /user/hadoop/input/capacity-scheduler.xml
22-rw-r--r--   1 hadoop supergroup       1335 2019-07-04 15:57 /user/hadoop/input/configuration.xsl
23-rw-r--r--   1 hadoop supergroup        318 2019-07-04 15:57 /user/hadoop/input/container-executor.cfg
24-rw-r--r--   1 hadoop supergroup        884 2019-07-04 15:57 /user/hadoop/input/core-site.xml
25-rw-r--r--   1 hadoop supergroup       4233 2019-07-04 15:57 /user/hadoop/input/hadoop-env.sh
26-rw-r--r--   1 hadoop supergroup       2490 2019-07-04 15:57 /user/hadoop/input/hadoop-metrics.properties
27-rw-r--r--   1 hadoop supergroup       2598 2019-07-04 15:57 /user/hadoop/input/hadoop-metrics2.properties
28-rw-r--r--   1 hadoop supergroup       9683 2019-07-04 15:57 /user/hadoop/input/hadoop-policy.xml
29-rw-r--r--   1 hadoop supergroup        867 2019-07-04 15:57 /user/hadoop/input/hdfs-site.xml
30-rw-r--r--   1 hadoop supergroup       1449 2019-07-04 15:57 /user/hadoop/input/httpfs-env.sh
31-rw-r--r--   1 hadoop supergroup       1657 2019-07-04 15:57 /user/hadoop/input/httpfs-log4j.properties
32-rw-r--r--   1 hadoop supergroup         21 2019-07-04 15:57 /user/hadoop/input/httpfs-signature.secret
33-rw-r--r--   1 hadoop supergroup        620 2019-07-04 15:57 /user/hadoop/input/httpfs-site.xml
34-rw-r--r--   1 hadoop supergroup       3523 2019-07-04 15:57 /user/hadoop/input/kms-acls.xml
35-rw-r--r--   1 hadoop supergroup       1611 2019-07-04 15:57 /user/hadoop/input/kms-env.sh
36-rw-r--r--   1 hadoop supergroup       1631 2019-07-04 15:57 /user/hadoop/input/kms-log4j.properties
37-rw-r--r--   1 hadoop supergroup       5511 2019-07-04 15:57 /user/hadoop/input/kms-site.xml
38-rw-r--r--   1 hadoop supergroup      11291 2019-07-04 15:57 /user/hadoop/input/log4j.properties
39-rw-r--r--   1 hadoop supergroup       1383 2019-07-04 15:57 /user/hadoop/input/mapred-env.sh
40-rw-r--r--   1 hadoop supergroup       4113 2019-07-04 15:57 /user/hadoop/input/mapred-queues.xml.template
41-rw-r--r--   1 hadoop supergroup        758 2019-07-04 15:57 /user/hadoop/input/mapred-site.xml.template
42-rw-r--r--   1 hadoop supergroup         10 2019-07-04 15:57 /user/hadoop/input/slaves
43-rw-r--r--   1 hadoop supergroup       2316 2019-07-04 15:57 /user/hadoop/input/ssl-client.xml.example
44-rw-r--r--   1 hadoop supergroup       2268 2019-07-04 15:57 /user/hadoop/input/ssl-server.xml.example
45-rw-r--r--   1 hadoop supergroup       4567 2019-07-04 15:57 /user/hadoop/input/yarn-env.sh
46-rw-r--r--   1 hadoop supergroup        690 2019-07-04 15:57 /user/hadoop/input/yarn-site.xml
476.运行示例：
48[hadoop@hadoop001 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar grep input output 'dfs[a-z.]+'
497.复制输出文件到本地文件系统：
50[hadoop@hadoop001 hadoop]$ bin/hdfs dfs -get output output
51[hadoop@hadoop001 hadoop]$ ll output/
52total 4
53-rw-r--r-- 1 hadoop hadoop 197 Jul  4 16:03 part-r-00000
54-rw-r--r-- 1 hadoop hadoop   0 Jul  4 16:03 _SUCCESS
55或者直接在分布式系统查看文件内容：
56[hadoop@hadoop001 hadoop]$ bin/hdfs dfs -cat /user/hadoop/output/*
5719/07/04 16:55:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
584    dfs.class
594    dfs.audit.logger
603    dfs.server.namenode.
612    dfs.period
622    dfs.audit.log.maxfilesize
632    dfs.audit.log.maxbackupindex
641    dfsmetrics.log
651    dfsadmin
661    dfs.servers
671    dfs.replication
681    dfs.file
698.关闭服务：
70[hadoop@hadoop001 hadoop]$ sbin/stop-dfs.sh
71