大数据实战02-hadoop单机版环境的搭建

在按照上篇博文配置好静态ip之后，我们进行大数据学习的基础环境之一也就基本搭建成功了一小部分，接下我们将从头开始搭建hadoop的单机版环境，并讲解相关的hadoop中的api

单机环境搭建

1、在创建单机版的环境的过程中，最好创建一个新的虚拟机用户，root登录

useradd hadoop  #创建hadoop用户
passwd hadoop   #设置hadoop用户的密码

2、修改用户的的相关权限

vim /etc/sudoers
root    ALL=(ALL)       ALL
hadoop ALL=(ROOT) NOPASSWD:ALL

3、增加hadoop用户的权限

chmod u+x /etc/sudoers

4、使用hadoop用户登录将hadoop源文件上传到虚拟机指定目录中

/home/hadoop/app   #博主上传的目录
tar -zxvf  hadoop-2.6.0-cdh5.15.1.tar.gz   #解压

5、进行系统环境变量的配置

vim /etc/profile
export JAVA_HOME=/usr/jdk8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

#hadoop
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH

6、Hadoop环境配置

/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop  #进入配置目录
vim hadoop-env.sh	#修改jdk的路径
export JAVA_HOME=/usr/jdk8   #配置jdk路径

vim yarn-env.sh  #配置该文件jdk路径
JAVA_HOME=$JAVA_HOME

vim core-site.xml	#配置core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.93.10:9000</value>
    </property>
</configuration>

 vim hdfs-site.xml	#配置hdfs-site.xml
<configuration>
	<!--单机版副本数配置为1-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
	<!--hadoop临时文件的存放的目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/app/tmp</value>
    </property>
</configuration>

首次启动hdfs系统需要格式化文件系统
hdfs namenode -format

 

7、验证环境单机环境是否配置成功

进入/hadoop-2.6.0-cdh5.15.1/sbin
输入：./start-dfs.sh 
启动完成后再次输入：jps
观察是否有以下的进程
7285 DataNode
7877 Jps
7192 NameNode
7419 SecondaryNameNode
有的话说明单机环境配置成功，没有则重新检查相关的原因

8、登录hdfs的后台系统

http://192.168.93.10:50070/  #ip地址换成自己电脑配置的静态ip地址