本地hadoop环境搭建（环境：windows10）

一、准备工作：
    1、下载VMware、centos7

二、创建虚拟机
    步骤一：点击新建虚拟机--选择自定义模式--下一步
    步骤二：选择兼容性，默认即可。
    步骤三：此处选择光驱。
    步骤四：选择系统类型，根据镜像来进行选择即可。（前面下载得centos7）
    步骤五：命名虚拟机。（可自定义）
    步骤六：选择处理器线程数，这个地方要注意，是根据主机CPU而定。处理器数量和内核数量可自定义。
    步骤七：内存大小选择，不得超过主机自身内存即可。
    步骤八：选择网络类型。
    步骤九：看见推荐——直接下一步
    步骤十：定义磁盘容量大小。
三、设置网络和镜像位置
    步骤一：选择创建好的虚拟机，右键--设置
    步骤二：选择CD/DVD(IDE) ，点击浏览，选择准备好的镜像iso文件
    步骤三：选择添加，找到网络适配器，完成
    步骤四：选择网络适配器。
    根据以上教程配置的虚拟机，开机后就可以进行一步一步的镜像安装。

四、虚拟机配置mac地址和IP地址以及主机名设置、添加公钥和私钥、时间同步问题
    步骤一：vmware中记录下每个虚拟机得mac地址（重点1），进入每个虚拟机中如下操作：
                vi /etc/sysconfig/network-scripts/ifcfg-ens33
                修改以下几个参数：
                BOOTPROTO=dhcp  #自动获取ip，网上很多设置为static的静态ip，实际上在操作中并未成功
                HWADDR=00:0C:  :  :    （填写“重点1”内容）#添加MAC地址   之前尝试过很多方法都没有成功，添加了这个之后就OK了
                ONBOOT:yes  #默认是no  设置为yes后重启就好了
                /* (此点为设置静态IP地址方法，mac地址还是为“重点1”得内容)
                    一、进入网络配置文件目录
                    首先，确保在root用户下进行操作。进入网络配置文件network-scripts目录下。
                    [root@localhost /]#  cd  /etc/sysconfig/network-scripts/
                    二、找到我们需要修改的配置文件
                    使用ls命令，列出该目录下的文件。其中“ifcfg-ens33”的文件，为我们需要修改的网络配置文件。
                    三、修改配置文件
                    使用vim命令（vi命令也可以）,对文件进行配置，
                    我们需要修改BOOTPROTO="static"也就是将dhcp改为static，
                    修改ONBOOT="yes" 意思是将网卡设置 为开机启用，
                    同时在文字下方添加
                    IPADDR=192.168.0.230 #静态IP  
                    GATEWAY=192.168.0.1 #默认网关  
                    NETMASK=255.255.255.0 #子网掩码  
                    DNS1=192.168.0.1 #DNS 配置  
                    DNS2=8.8.8.8        #谷歌地址
                    ESC    :+WQ，保存退出！

                    四、重启网络服务
                    使用service network restart命令，重启网络服务。
                    五、查看我们改动后的效果
                    因为现在是Centos7所以我们使用新的命令，我们输入ip addr进行查看。
                */
    步骤二：设置每台主机命和配置
        1、/etc/hostname   删除全部，输入主机名即可（例如：node1）
        2、/etc/hosts         这里添加当前集群内得全部虚拟机得全部IP地址（例如：
                                        192.168.72.110  node1   node1.hadoop.com
                                        192.168.72.120  node2   node2.hadoop.com
                                        192.168.72.130  node3   node3.hadoop.com）

    步骤三：ssh免密登录
        在三台虚拟机上创建 mkdir ~/.ssh
        在.ssh下ssh-keygen -t rsa
        生成两个文件，一个私钥，一个公钥
        cp id_rsa.pub authorized_keys
        scp /root/.ssh/authorized_keys node1:/root/.ssh 
        scp /root/.ssh/authorized_keys node2:/root/.ssh 
        chmod 644 authorized_keys 每台机器都需要更改权限
        重启sshd后master就可免密登录master  node1 node2

    步骤四：所以机子得时间必须要保持一致性(采用联网一直)
        1、yum install -y ntp  /*安装插件ntp*/
        2、crontab -e             /*定时任务*/
        3、设置定时：*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com

五、每台安装jdk
    1、查看是否存在openjdk，如果存在进行删除。
            （查询命令：rpm -qa | grep java
            删除命令：rpm -e 需要删除得包名）
    2、创建目录：
        mkdir -p /export/softwares    #软件包目录    下载jdk安装包放入该目录中(yum -y install lrzsz)
        mkdir -p /export/servers    #安装目录    解压JDK到当前目录        (tar -xvf jdk-8u251-linux-x64.tar.gz -C ../servers/)
    3、配置JDK环境
        vi /etc/profile
        export JAVA_HOME=/export/servers/jdk1.8.0_251
        export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
        export PATH=$PATH:${JAVA_HOME}/bin
        (生效配置：source /etc/profile)

六、选择其中一台进行mysql安装和配置
    1．查看是否有安装过mysql:        rpm -qa | grep -i mysql
    2．删除mysql    :                yum -y remove MySQL-*
    3．把所有出现的目录统统删除    find / -name mysql
    4．删除配置文件                rm -rf /etc/my.cnf
    5．删除mysql的默认密码        rm -rf /root/.mysql_sercret
    1．配置Mysql 8.0安装源        sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
    2．安装Mysql 8.0                sudo yum --enablerepo=mysql80-community install mysql-community-server
    4．启动mysql服务                sudo service mysqld start
    5．查看mysql服务运行状态        service mysqld status
    6．查看root临时密码            grep "A temporary password" /var/log/mysqld.log
    7．更改临时密码                
            输入：mysql -uroot -p
            在Enter password：后面输入临时密码
            登录成功
            输入：ALTER USER 'root'@'localhost' IDENTIFIED BY 'Loveshan99..';
            会提示：ERROR 1819 (HY000): Your password does not satisfy the current policy requirements(密码不符合当前策略)
            方案1: 设置符合策略的密码(大小写字母+数据+符号)
            方案2:密码策略改简单一点
        方案2设置方式：
            先看看当前的密码验证策略输入：SHOW VARIABLES LIKE 'validate_password.%';
            策略说明
            validate_password.length 是密码的最小长度，默认是8，我们把它改成6
            输入：set global validate_password.length=6;
            validate_password.policy 验证密码的复杂程度，我们把它改成0
            输入：set global validate_password.policy=0;
            validate_password.check_user_name 用户名检查，用户名和密码不能相同，我们也把它关掉
            输入：set global validate_password.check_user_name=off;
            再执行修改密码的命令
            输入：ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘12345’;
            密码设成功
    7．配置远程访问
        输入：GRANT ALL ON *.* TO 'root'@'%';
        看下默认MySQL用户：
        输入：use mysql;
        输入：select host, user, authentication_string, plugin from user;
        输入：CREATE USER ‘root’@’%’ IDENTIFIED BY ‘KC$abc123’;
        输入：select host, user, authentication_string, plugin from user;
        输入：GRANT ALL ON *.* TO 'root'@'%';
    8．客户端连接mysql报错
        原因是mysql8的加密方式规则不一样，是caching_sha2_password
        需要加密方式改成mysql_native_password就行了
        语法:ALTER USER ‘[用户名]’@’%’ IDENTIFIED WITH mysql_native_password BY ‘[密码]’;
        输入：ALTER USER ‘root’@’%’ IDENTIFIED WITH mysql_native_password BY ‘root’;
        加密方式以及改成了mysql_native_password
    9．客户端连接mysql还报错
        查看防火墙状态，关闭状态
        阿里云需要开放3306端口

七、搭建zookeeper集群
    1、下载zookeeper安装包。
    2、安装配置zookeeper，（解压zookeeper到/export/servers/）
    3、配置环境变量：(vi /etc/profile)
        export ZOOKEEPER_HOME=/export/servers/zookeeper
        export PATH=${ZOOKEEPER_HOME}/bin:$PATH
    4、创建文件夹：mkdir /export/servers/zookeeper/zkdatas
    5、创建文件：mkdir /export/servers/zookeeper/zkdatas/myid (添加序号)
    6、修复：（vi conf/zoo.cfg）
        tickTime=2000
        initLimit=10
        syncLimit=5
        dataDir=/export/servers/zookeeper-3.4.9/zkdatas
        clientPort=2181
        autopurge.snapRetainCount=3
        autopurge.purgeInterval=1
        server.1=node1:2888:3888
        server.2=node2:2888:3888
        server.3=node3:2888:3888