Hadoop-hdfs单机伪分布式安装(自己玩)

10 篇文章 0 订阅
2 篇文章 0 订阅

设置基础环境

设置主机名

[root@localhost ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=baseimage

hosts映射

[root@baseimage ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.223.3 baseimage

关闭防火墙

[root@baseimage ~]# service iptables stop

开机禁用防火墙

[root@baseiamge ~]# chkconfig iptables off

修改selinux

[root@baseimage ~]# vi /etc/selinux/config
SELINUX=disabled

设置时间同步

安装ntp

[root@baseimage ~]# yum install ntp -y

修改配置

[root@baseimage ~]# vi /etc/ntp.conf
server ntp1.aliyun.com

时间同步

[root@baseimage etc]# service ntpd start
[root@baseimage etc]# chkconfig ntpd on

设置ssh免密

  1. 单独执行ssh localhost命令会在当前目录下生成.ssh目录
  2. 在.ssh目录中,利用ssh-keygen命令生成公钥id_dsa.pub
  3. 本机免密、其它机器免密:
    让哪个机器免密,就需要把id_dsa.pub的内容放在/root/.ssh/authorized_keys这个文件中。B包含了A的公钥,A就可以免密登录B
[root@baseimage ~]# ssh localhost
[root@baseimage ~]# cd .ssh
[root@baseimage .ssh]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa
[root@baseimage .ssh]# cat id_dsa.pub >> ~/.ssh/authorized_keys

安装jdk

下载jdk-8u291-linux-x64.rpm并上传到centos

root@baseimage ~]# ll ~/mmm
总用量 306352
-rw-r--r--. 1 root root 199635269 5月  30 20:28 hadoop-2.6.5.tar.gz
-rw-r--r--. 1 root root 114063112 5月  30 20:28 jdk-8u291-linux-x64.rpm
[root@baseimage ~]# rpm -i jdk-8u291-linux-x64.rpm

设置环境变量

[root@baseimage ~]# vi /etc/profile
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
[root@baseimage ~]# source /etc/profile

安装Hadoop

解压并拷贝到安装目录

[root@baseimage ~]# tar xf hadoop-2.6.5.tar.gz
[root@baseimage ~]# cp -rf hadoop-2.6.5 /opt/bigdata/

配置环境变量

[root@baseimage ~]# vi /etc/profile
export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改Hadoop配置文件

  • hadoop-env.sh
  • core-site.xml
  • hdfs-site.xml
  • slaves
[root@baseimage ~]# cd /opt/bigdata/hadoop-2.6.5/etc/hadoop
[root@baseimage hadoop]# vi hadoop-env.sh 
export JAVA_HOME=/usr/java/default
##
[root@baseimage hadoop]# vi core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://baseimage:9000</value>
	</property>
</configuration>

[root@baseimage hadoop]# vi hdfs-site.xml
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/data</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>baseimage:50090</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/secondary</value>
	</property>
</configuration>

[root@baseimage hadoop]# vi slaves
baseimage

第一次启动

[root@baseimage hadoop]# cd /var
[root@baseimage var]# hdfs namenode -format

启动、停止

[root@baseimage ~]# start-dfs.sh 
[root@baseimage ~]# stop-dfs.sh 

设置windows访问

windows中可以访问:http://192.168.223.3:50070/
前提是修改windows中的hosts映射文件:

  • windows中找到hosts文件:C:\Windows\System32\drivers\etc\hosts
  • 新增一行映射:192.168.223.3 baseimage

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值