Windows下安装hdfs环境

2019独角兽企业重金招聘Python工程师标准>>>

安装环境：VM VirtualBox/CentOS7/hadoop-2.8.1

1.设置虚拟机中的网络

1）在虚拟机中选用host-only网络

2）修改配置文件:

修改相关文件，将值设置为下面列举的值

vi /etc/sysconfig/network 

NETWORKING=yes

GATEWAY=192.168.56.1

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

TYPE=Ethernet

IPADDR=192.168.56.100

NETMASK=255.255.255.0

3)修改主机名

hostnamectl set-hostname master

4)重启网络

service network restart

5)关闭防火墙

systemctl stop firewalld

2.使用xshell连接虚拟机，使用xftp将安装包放到虚拟机上，安装jdk，jdk要求1.8以上

rpm -i --prefix=/usr/local jdk-8u151-linux-x64.rpm

3.配置jdk环境变量

vi ~/.bash_profile

export JAVA_HOME=/usr/local/jdk1.8.0_151

export PATH=$JAVA_HOME/bin:$PATH

修改之后，重新编译

source ~/.bash_profile

4.安装hadoop:

tar zxvf hadoop-2.8.1.tar.gz -C /usr/local

5.修改配置文件/usr/local/hadoop-2.8.1/etc/hadoop/hadoop-env.sh设置jdk路径export JAVA_HOME=/usr/local/jdk1.8.0_151

6.修改/usr/local/hadoop-2.8.1/etc/hadoop 下core-site.xml配置

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:8020</value>
</property>
--注意：master为主机名称
--设置默认的数据保存路径
<property>
    <name>hadoop.tmp.dir</name>
     <value>/usr/local/hadoop-2.8.1/hadoop_tmp</value> 
     <description>A base for other temporary directories.</description>
</property>

7.修改/usr/local/hadoop-2.8.1/etc/hadoop下的hdfs-site.xml(设置只备份一次)

<property>
          <name>dfs.replication</name>
           <value>1</value> 
</property>

8.格式化文件系统,在/usr/local/hadoop-2.8.1/bin目录下执行下面命令,只需要执行一次

./hdfs namenode -format

9.启动 /usr/local/hadoop-2.8.1/sbin下面的 ./start-dfs.sh，启动成功显示如下：

./stop-dfs.sh 关闭

10.浏览器查看集群状态 http://192.168.56.100:50070

注意:文中路径可能有实际有差距，根据个人情况自行修正

转载于:https://my.oschina.net/u/3822522/blog/3007135