【Hadoop部署】Hadoop环境部署1-Linux基础设置

最新推荐文章于 2024-03-09 00:52:27 发布

「已注销」

最新推荐文章于 2024-03-09 00:52:27 发布

阅读量331

点赞数

分类专栏： Hadoop 文章标签： hadoop spark mapreduce

本文链接：https://blog.csdn.net/refbit/article/details/104399271

版权

Hadoop 专栏收录该内容

6 篇文章 1 订阅

订阅专栏

1、先临时性设置虚拟机ip地址：

ifconfig ens33 192.168.71.110
在/etc/hosts文件中配置本地ip到host的映射

2、配置windows主机上的hosts文件：

C:\Windows\System32\drivers\etc\hosts
192.168.71.110 sparkproject1
192.168.71.111 sparkproject2
192.168.71.112 sparkproject3

3、使用SecureCRT从windows上连接虚拟机。如下修改虚拟机网络。

设置hosts后，即可使用名称代替IP使用。
vim /etc/hosts
192.168.71.110 sparkproject1
192.168.71.111 sparkproject2
192.168.71.112 sparkproject3

设置网络为固定IP，只需要把文件内容删除用下述替换即可
vi /etc/sysconfig/network-scripts/ifcfg-ens33

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.71.110
NETMASK=255.255.255.0
GATEWAY=192.168.71.2
DNS1=114.114.114.114

原来的信息备份，可供配置失败的同学做参考。

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=dhcp
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=347cebc3-8bd3-4513-a49c-9647924efd89
DEVICE=ens33
ONBOOT=yes

重启网卡，使修改生效

service network restart

关闭防火墙、关闭安全检查、免密登录

service firewalld stop
systemctl disable firewalld.service

vim /etc/selinux/config

设置免密访问，这样就
ssh-keygen -t rsa
cd /root/.ssh
cp id_rsa.pub authorized_keys

环境变量

把所有需要的环境变量一次性先配置了，在如下文件的最后添加
vim ~/.bashrc

export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

export FLUME_HOME=/usr/local/flume
export PATH=$PATH:$FLUME_HOME/bin

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin

export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$PATH:$ZOOKEEPER_HOME/bin

export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin

export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

更新环境变量
source ~/.bashrc