配置hadoop集群服务之一-系统环境配置

1、首先配置主机名和各机器域名：

（1）Vim /etc/hostname

起名字：

机器编号

用途：(计算，sds,  master)

部门：chx

集团名称.com

例子：haoxintest1.master.chx.com

 

 

（2）vim /etc/hosts

每台机器都要配

作用：进行域名互通

ip+域名

10.10.67.122 haoxintest1.master.chx.com

10.10.67.123 haoxintest2.master.chx.com

10.10.67.124 haoxintest3.master.chx.com

 

（3）vim /etc/selinux/config

修改:SELINUX=disabled

 

（4）重启机器：reboot

修改端口号：

vim /etc/ssh/ssh_config

vim /etc/ssh/sshd_config

 

Tip:

 

iterm远程登陆服务器的方法：

ssh 账户名@ip地址 -p port

例子：ssh root@10.10.10.60 -p 60000

 

2、根用户下，创建haoxin用户：

useradd haoxin

visudo：配置spark用户的sudo权限

 

visudo. 

配置sudo权限：

root下面配置

spark ALL=(ALL)  NOPASSWD:ALL

 

reboot 重启一下机器，使得haoxin用户能够本机获得sudo权限；

 

3、vim /etc/ssh/ssh_config

vim /etc/ssh/sshd_config

修改端口等信息，保持端口统一；

 

 

4、系统环境配置/etc/profile;

配置HADOOP\Hive\Spark

 

JAVA_HOME=/usr/local/jdk
# HADOOP_HOME=/usr/local/cloud/hadoop
HADOOP_HOME=/data/cloud/deploy/src
CLASS_PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME HADOOP_HOME
## Hive profile set
export HIVE_HOME=/usr/local/cloud/hive
export HIVE_CONF=$HIVE_HOME/conf
export PATH=$HIVE_HOME/bin:$PATH
## Spark profile set
export SPARK_HOME=/usr/local/cloud/spark
export SPARK_CONF_DIR=$SPARK_HOME/conf

本身自带包环境配置：

/hadoop/conf/hadoop-env.sh

/spark/conf/spark-env.sh

 

5、服务器上原生配置的修改：

（1）本机的vimrc修改位置：~/.vimrc或者/etc/vimrc

　　本机的bash_profile修改位置：~/.bash_profile

（2）vimrc与bash_profile的区别：

（3）vimrc修改之后，调整的是编辑命令里面的内容；

（4）bash_profile修改之后，调整的是命令模式里面的调动命令；

 

（5）服务器上面下载安装pip:　　

　　wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate

 

总结Tip：

1、ip  a查寻服务器的ip和端口号；

2、wq!是作为强制保存的命令；

3、Reboot作为机器重设置，所有的端口号和ip设置完以后，需要reboot生效；

4、known_hosts是slave登陆master做的一个密钥存储记忆；

转载于:https://www.cnblogs.com/haoxinchen/p/9326927.html