2021-04-24

centos7安装hadoop

1. 进入root权限

su

2. 给hadoop用户权限

visudo #进入文件找到root	ALL=(ALL)	ALL在下面加入hadoop	ALL=(ALL)	ALL	冒号wq保存退出

安装jdk删除自带的jdk

cd /usr/lib		#进入lib目录下
sudo rm -rf jvm		#删除jvm文件夹
sudo mkdir jvm		#重新创建jvm文件夹
cd ~				#进入主目录
cd ~/下载			进入放jdk压缩包的目录
sudo tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/lib/jvm #将jdk解压到jvm
cd ~
sudo ~/.bashrc		#进入文件在文件开头输入以下内容
export	JAVA_HOME=/usr/lib/jvm/jdk1.8.0_261		
export	JRE_HOME=${JAVA_HOME}/jre
export	CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export	PATH=${JAVA_HOME}/bin:$PATH
#这里的jdk文件名以自己的为准,仔细核对如有出错再次核对
冒号wq保存退出
source ~/.bashrc	#刷新配置的文件
java -version

出现如下内容就说明配置成功，失败则配置错误
hadoop@ubuntu:~$ java -version
java version “1.8.0_162”
Java™ SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot™ 64-Bit Server VM (build 25.162-b12, mixed mode)

安装hadoop

cd  ~/下载		#进入放hadoop压缩包的目录
sudo tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local #把文件解压到local下
cd /usr/local		#进入local目录
sudo mv ./hadoop-2.7.7 ./hadoop		#修改hadoop-2.7.7名称为hadoop
sudo chown -R hadoop:hadoop ./hadoop #给hadoop文件权限
cd hadoop	#进入hadoop
./bin/hadoop version #查看hadoop是否可用

显示一下内容就是可用：
Hadoop 2.7.7
Subversion Unknown -r c1aad84bd27cd79c3d1a7dd58202a8c3ee1ed3ac
Compiled by stevel on 2018-07-18T22:47Z
Compiled with protoc 2.5.0
From source with checksum 792e15d20b12c74bd6f19a1fb886490
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.7.7.jar

hadoop伪分布式配置

1.配置hadoop的环境变量

sudo gedit ~/.bashrc		#进入文件
增加如下：
# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
保存退出
source ~/.bashrc #使其生效

cd /usr/local/hadoop/etc/hadoop	#进入配置文件的目录
sudo gedit core-site.xml	#打开文件，配置一下信息
    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/usr/local/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
        </property>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>
    完成保存退出
    ===再进入 hdfs-site.xml===
        <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
    </configuration>
    配置完成后执行NameNode格式化：
    cd /usr/local/hadoop
    ./bin/hdfs namenode -format
    成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。
    接着开启 NameNode 和 DataNode 守护进程。
    cd /usr/local/hadoop
    sudo ./sbin/start-dfs.sh
    启动后用jps查看
    jps
	[hadoop@localhost hadoop]$ jps
	66757 Jps
	66628 SecondaryNameNode
	66441 DataNode
	66296 NameNode
	显示以下内容启动成功