hadoop安装步骤

2019独角兽企业重金招聘Python工程师标准>>>

1.下载安装包（下载地址可网上查找，还要安装jdk,网上都有，在这就不列举了,这里用的是hadoop 3.1.1版本）

2.配置环境变量，并让它生效，执行命令 source  /etc/profile

JAVA_HOME=/usr/java/java8/jdk1.8.0_191

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"

export CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH

export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:$PATH

3.修改core-site.xml和hdfs-site.xml 文件

core-site.xml文件如下

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop/tmp</value>

</property>

</configuration>

hdfs-site.xml 文件如下

<configuration>

<property>

<name>dfs.name.dir</name>

<value>/opt/hadoop/hdfs/name</value>

<description>namenode</description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/opt/hadoop/hdfs/data</value>

<description>datanode</description>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

以上红色标明的文件目录，不需要自己建，hadoop会帮你建立，只需要按你自己需要，配置即可

4.SSH 设置免密码登录

 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  

 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  

 chmod 600 ~/.ssh/authorized_keys

5.修改文件 sbin/start-dfs.sh 和sbin/stop-dfs.sh

都添加以下内容

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

6.修改文件 sbin/start-yarn.sh，sbin/stop-yarn.sh 

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

7.修改 /etc/hadoop/hadoop-env.sh文件

8.初始化脚本

/bin/hdfs namenode -format

9.启动命令

./sbin/start-dfs.sh

10.检查是否启动成功，执行jps

（PS：主要是第六步和第七步，如果没做会启动不成功）

转载于:https://my.oschina.net/u/3837147/blog/2876282