Hadoop笔记配置到zookeeper大致部署

一，安装VM和centos 
1.安装vm15蓝屏  （版本和电脑不兼容）
        下载vm16
2.centos，单独放在一个文件夹中
二，修改主机名，IP，映射
1.hostname  （hostnamectl  set-hostname  主机名）
2.vi /etc/hostname（重启）
（二）IP修改：vi /etc/sysconfig/network-scripts/ifcfg-ens33
1.修改为静态获取IP
BOOTPROTO="static"
2.添加IP地址
IPADDR=192.168.1.100
3.添加网关
GATEWAY=192.168.1.2
4.添加子网掩码
NETMASK=255.255.255.0
5.添加域名解析器
DNS1=192.168.1.2
（三）映射
vi /etc/hosts
三，网络配置
1.虚拟机
2.windows电脑（遇到电脑没有vmnet8的下载CCleaner，清理注册表，重置虚拟机网络）
3.调整防火墙（建议关闭防火墙-1.查看防火墙状态systemctl status firewalld-2.关闭防火墙systemctl stop firewalld-3.开机防火墙不启动systemctl disable firewalld
4.ping IP地址{1.ping外部IP网址。2.ping 百度网址
5.重启网络：service network restart
四，链接moba
五，jdk、hadoop部署
1.在opt下面创建software，module两个文件夹
2.安装jdk
3.安装hadoop
4.伪分布部署
5.克隆虚拟机
6.完全分布式部署（1.免密2.修改环境变量 3.（修改配置文件-hadoop-env.sh  hdfa-site.xml  yarn-site.xml  mapred-site.xml）4.集群分发scp-r谁 用户名主机名： 地址  5.格式化namenode（rm -rf data  rm -rf logs）hdfs namenode -format  6.单启，群启）
六，hive配置
1.安装mysql（下载 mysql linux安装包，将其上传到linux下/opt/softwarey中，解压到/opt/module/下：tar-xf 要解压的文件-C 到哪 。安装对应的rpm文件：1.删除原来的mysql 2.测验虚拟机是否能够上网，获取插件：yum install-y libaio 3.依次执行命令 4.切换到/var/lib/mysql/ 并删除所有的文件：rm-rf * 5.初始化mysql：mysqld --initialize --user=mysql 6.查看生成的随机密码：cat/var/log/mysqld.log 7.启动mysql服务：systemctl start mysqld 8.登录mysql数据库：mysql -uroot -p   Enter password：输入临时生成密码 ）
2.安装hive（下载安装包：apache-hive-3.1.2-bin.tar.gz 上传至linux系统/opt/software/路径 2.解压软件： tar -zxvf apache-hive-3.1.2-bin.tar.gz-C/opt/module/ 3.添加系统环境变量：vi /etc/profile 重置环境配置：source /etc/profile 4.修改hive环境变量：cd /opt/module/apache-3.1.2-bin/bin/ 编辑hive-config.sh文件：vi hive-config.sh 5.在/opt/module/apache-3.1.2-bin/conf/创建hive-site.xml配置文件：vi hive-site.xml 6.修改Hive配置文件，找到相应的位置进行修改 7.上传mysql驱动包到/opt/module/apache-3.1.2-bin/lib/文件夹下解压后在里面获取jar包 8.确保mysql里面有名称为hive的数据库 9.初始化元数据库：schematool -dbtype mysql -iniSchema 10.确保Hadoop启动 11.启动hive：hive 12.检测是否启动成功：show databases）
3.修改配置环境
4.启动
七，zookeeper集体部署
1.解压cd /opt/module/   tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
2.创建数据文件和目录文件 在zookeeper的跟目录下创建两个文件夹data和log（cd /opt/module/apache-zookeeper-3.5.5-bin/    mkdir data  mkdir log）
3.拷贝配置文件（cd /opt/module/apache-zookeeper-3.5.5-bin/conf/cp zoo_sample.cfg zoo.cfg）
4.创建服务器myid在data目录下创建myid的文件。里面的值可以给个任意的值，和上述服务器起server.x对应：cd /opt/module/apache-zookeeper-3.5.5-bin/data/touch myid
5.集群拷贝：scp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop101:/opt/module/apache-zookeeper-3.5.5-binscp -r /opt/module/apache-zookeeper-3.5.5-bin root@hadoop102:/opt/module/apache-zookeeper-3.5.5-bin
6.集群myid更改
7.启动集群