在按照上篇博文配置好静态ip之后,我们进行大数据学习的基础环境之一也就基本搭建成功了一小部分,接下我们将从头开始搭建hadoop的单机版环境,并讲解相关的hadoop中的api
单机环境搭建
1、在创建单机版的环境的过程中,最好创建一个新的虚拟机用户,root登录
useradd hadoop #创建hadoop用户
passwd hadoop #设置hadoop用户的密码
2、修改用户的的相关权限
vim /etc/sudoers
root ALL=(ALL) ALL
hadoop ALL=(ROOT) NOPASSWD:ALL
3、增加hadoop用户的权限
chmod u+x /etc/sudoers
4、使用hadoop用户登录将hadoop源文件上传到虚拟机指定目录中
/home/hadoop/app #博主上传的目录
tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz #解压
5、进行系统环境变量的配置
vim /etc/profile
export JAVA_HOME=/usr/jdk8
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH
6、Hadoop环境配置
/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop #进入配置目录
vim hadoop-env.sh #修改jdk的路径
export JAVA_HOME=/usr/jdk8 #配置jdk路径
vim yarn-env.sh #配置该文件jdk路径
JAVA_HOME=$JAVA_HOME
vim core-site.xml #配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.93.10:9000</value>
</property>
</configuration>
vim hdfs-site.xml #配置hdfs-site.xml
<configuration>
<!--单机版副本数配置为1-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--hadoop临时文件的存放的目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
</configuration>
首次启动hdfs系统需要格式化文件系统
hdfs namenode -format
7、验证环境单机环境是否配置成功
进入/hadoop-2.6.0-cdh5.15.1/sbin
输入:./start-dfs.sh
启动完成后再次输入:jps
观察是否有以下的进程
7285 DataNode
7877 Jps
7192 NameNode
7419 SecondaryNameNode
有的话说明单机环境配置成功,没有则重新检查相关的原因
8、登录hdfs的后台系统
http://192.168.93.10:50070/ #ip地址换成自己电脑配置的静态ip地址