创建一台可以搭建大数据平台的虚拟机

置顶 kr骑士

已于 2022-04-09 15:46:06 修改

阅读量918

点赞数

分类专栏：大数据文章标签： linux 大数据环境搭建

于 2018-04-07 16:24:04 首次发布

本文链接：https://blog.csdn.net/u013064432/article/details/79841585

版权

大数据专栏收录该内容

3 篇文章 0 订阅

订阅专栏

1、新建一个普通用户，并给予sudo权限

添加用户并设置密码
adduser hadoop
passwd hadoop
添加sudo权限
chmod u+w /etc/sudoers
vim /etc/sudoers
hadoop ALL=(root)NOPASSWD:ALL
测试：sudo -A ls -l  (-A表示不用输入密码)
chmod u-w /etc/sudoers

2、配置主机名，配置ip，主机名和ip映射

hostname kzx.nn01.com
vim /etc/sysconfig/network (将主机名写入文件)
vim /etc/hosts（ip和主机名映射）

 将hosts文件分发到其他机器
 for i in {21,22,23,24};do scp /etc/hosts root@172.26.5.$i:/etc;done

3、关闭防火墙

service iptables stop 临时关闭
chkconfig iptables off 永久关闭
chkconfig --list | grep iptables 查看不用启动状态下防火墙启动状态

4、关闭SELinux

使用sestatus -v 命令，查看Selinux状态。
vi /etc/sysconfig/selinux
SELINUX=disabled
reboot

5、关闭THP

关闭THP（这是个坑，弄不好就会启动失败 不要这么改）
              vi /etc/grub.conf
              在kernel 行后面加入 transparent_hugepage=never
正确的方法：
vim /etc/rc.d/rc.local
增加下列内容：
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
给rc.local添加可执行权限
chmod +x /etc/rc.d/rc.local
重启机器

查看状态：
cat /sys/kernel/mm/transparent_hugepage/defrag
cat /sys/kernel/mm/transparent_hugepage/enabled

6、卸载系统自带jdk，并安装jdk

卸载自带jdk：

rpm -qa | grep java
rpm -e --nodeps 指定java版本

创建目录：

mkdir /usr/java
chown  hadoop:hadoop /usr/java

解压：

tar -zvxf jdk-8u131-linux-x64.tar.gz -C /usr/java/

配置环境变量：shift+g

vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile

或者：

JAVA_HOME=/usr/java/jdk1.8.0_131
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

使用yum安装：

yum search java|grep jdk （查看yum中的jdk版本）
yum install java-1.7.0-openjdk （安装指定版本）

配置环境变量：
vi /etc/profile
#set java environment
JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.75.x86_64
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

source /etc/profile

7、配置文件打开数和用户最大进程数

ulimit -a (查看当前参数) 
ulimit -u
vim /etc/security/limits.conf
添加内容如下：
* soft nofile 65535  软最大文件打开数
* hard nofile 65535  硬最大文件打开数
* soft nproc  32000  软最大进程数
* hard nproc  32000  硬最大进程数
（* 代表对所有用户都有效）

8、安装yum，配置yum

yum install httpd
yum install yum-utils
yum repolist
yum install createrepo

9、安装mysql

安装mysql 服务器端：

yum install mysql-server
yum install mysql-devel

安装mysql客户端：

yum install mysql

安装mysql驱动：

yum install -y mysql-connector-java

检查驱动:

检查：cd /usr/share/java  (安装完成后，切换至java目录，如下图，则ok)

配置数据库字符集：

vi /etc/my.cnf
加入：default-character-set=utf8

配置开机启动：

chkconfig -add mysqld
chkconfig --list | grep mysql*   （查看是否配置成功）
mysqld            0:关闭    1:关闭    2:启用    3:启用    4:启用    5:启用    6:关闭

启动mysql：

service mysqld start或者/etc/init.d/mysqld start

停止mysql：

service mysqld stop

创建mysql管理员：

mysqladmin -u root password 123456

mysql -u root -p
远程登录:
mysql -h ip地址 -u root -p

Linux MySQL的几个重要目录：

数据库目录：        /var/lib/mysql/
配置文件：        /usr/share /mysql（mysql.server命令及配置文件）
相关命令：        /usr/bin（mysqladmin mysqldump等命令）
启动脚本：        /etc/rc.d/init.d/（启动脚本文件mysql的目录）

mysql用户授权：

create database hive;
CREATE USER 'hive' IDENTIFIED BY '123456';
grant all privileges on *.* to hive@'localhost' identified by '123456';
grant all privileges on *.* to hive@'%' identified by '123456';
grant all privileges on *.* to hive@'kzx.dn02.com' identified by '123456';
flush privileges;（很重要）

10、时间同步

安装NTP：

yum install ntp -y

修改NTP配置文件，添加NTP服务器的网络位置：

vi /etc/ntp.conf

注释
#server 1.CentOS.pool.ntp.org iburst     #一下三个是CentOS官方的NTP服务器，我们注释掉
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
添加
server 192.168.1.1                       #目标服务器网络位置
restrict 172.26.5.21 nomodify notrap noquery
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10

将配置文件分发到各节点：

for i in {32,33,34,35,36,37,38,39,40,41,42};do scp /etc/ntp.conf root@10.88.4.1$i:/etc/ntp.conf; done

/etc/init.d/ntpd start

chkconfig --level 35 ntpd on

启动服务：

/etc/init.d/ntpd start  或者 service ntpd start

添加到自启动：

chkconfig --level 35 ntpd on

手动同步时间：

ntpdate 210.72.145.44  （服务器ip）

创建定时任务

crontab -l #查看定时任务
crontab -e #编写定时任务，保存后定时任务等待启动了
*/10 * * * * root /usr/sbin/ntpdate 172.26.5.21; /sbin/hwclock -w    #每10分钟同步一次

查看ntp状态：

service ntpd status

ssh免登陆：

生成rsa秘钥
su - hadoop
ssh-keygen -t rsa
cd /home/hadoop/.ssh  该路径有两个文件，一个公钥，一个是秘钥
将公钥拷贝到另一台机器的~/.ssh/authorized_keys 中
scp 公钥到另一台机器：scp 公钥 hadoop@ip:/home/hadoop
添加：cat 公钥 >> ~/.ssh authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh authorized_keys