本地hadoop环境搭建(环境:windows10)

一、准备工作:
    1、下载VMware、centos7

二、创建虚拟机
    步骤一:点击新建虚拟机--选择自定义模式--下一步
    步骤二:选择兼容性,默认即可。
    步骤三:此处选择光驱。
    步骤四:选择系统类型,根据镜像来进行选择即可。(前面下载得centos7)
    步骤五:命名虚拟机。(可自定义)
    步骤六:选择处理器线程数,这个地方要注意,是根据主机CPU而定。处理器数量和内核数量可自定义。
    步骤七:内存大小选择,不得超过主机自身内存即可。
    步骤八:选择网络类型。
    步骤九:看见推荐——直接下一步
    步骤十:定义磁盘容量大小。
三、设置网络和镜像位置
    步骤一:选择创建好的虚拟机,右键--设置
    步骤二:选择CD/DVD(IDE) ,点击浏览,选择准备好的镜像iso文件
    步骤三:选择添加,找到网络适配器,完成
    步骤四:选择网络适配器。
    根据以上教程配置的虚拟机,开机后就可以进行一步一步的镜像安装。


四、虚拟机配置mac地址和IP地址以及主机名设置、添加公钥和私钥、时间同步问题
    步骤一:vmware中记录下每个虚拟机得mac地址(重点1),进入每个虚拟机中如下操作:
                vi /etc/sysconfig/network-scripts/ifcfg-ens33
                修改以下几个参数:
                BOOTPROTO=dhcp  #自动获取ip,网上很多设置为static的静态ip,实际上在操作中并未成功
                HWADDR=00:0C:  :  :    (填写“重点1”内容)#添加MAC地址   之前尝试过很多方法都没有成功,添加了这个之后就OK了
                ONBOOT:yes  #默认是no  设置为yes后重启就好了
                /* (此点为设置静态IP地址方法,mac地址还是为“重点1”得内容)
                    一、进入网络配置文件目录
                    首先,确保在root用户下进行操作。进入网络配置文件network-scripts目录下。
                    [root@localhost /]#  cd  /etc/sysconfig/network-scripts/
                    二、找到我们需要修改的配置文件
                    使用ls命令,列出该目录下的文件。其中“ifcfg-ens33”的文件,为我们需要修改的网络配置文件。
                    三、修改配置文件
                    使用vim命令(vi命令也可以),对文件进行配置,
                    我们需要修改BOOTPROTO="static"也就是将dhcp改为static,
                    修改ONBOOT="yes" 意思是将网卡设置 为开机启用,
                    同时在文字下方添加
                    IPADDR=192.168.0.230 #静态IP  
                    GATEWAY=192.168.0.1 #默认网关  
                    NETMASK=255.255.255.0 #子网掩码  
                    DNS1=192.168.0.1 #DNS 配置  
                    DNS2=8.8.8.8        #谷歌地址
                    ESC    :+WQ,保存退出!

                    四、重启网络服务
                    使用service network restart命令,重启网络服务。
                    五、查看我们改动后的效果
                    因为现在是Centos7所以我们使用新的命令,我们输入ip addr进行查看。
                */
    步骤二:设置每台主机命和配置
        1、/etc/hostname   删除全部,输入主机名即可(例如:node1)
        2、/etc/hosts         这里添加当前集群内得全部虚拟机得全部IP地址(例如:
                                        192.168.72.110  node1   node1.hadoop.com
                                        192.168.72.120  node2   node2.hadoop.com
                                        192.168.72.130  node3   node3.hadoop.com)

    步骤三:ssh免密登录
        在三台虚拟机上创建 mkdir ~/.ssh
        在.ssh下ssh-keygen -t rsa
        生成两个文件,一个私钥,一个公钥
        cp id_rsa.pub authorized_keys
        scp /root/.ssh/authorized_keys node1:/root/.ssh 
        scp /root/.ssh/authorized_keys node2:/root/.ssh 
        chmod 644 authorized_keys 每台机器都需要更改权限
        重启sshd后master就可免密登录master  node1 node2

    步骤四:所以机子得时间必须要保持一致性(采用联网一直)
        1、yum install -y ntp  /*安装插件ntp*/
        2、crontab -e             /*定时任务*/
        3、设置定时:*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com

五、每台安装jdk
    1、查看是否存在openjdk,如果存在进行删除。
            (查询命令:rpm -qa | grep java
            删除命令:rpm -e 需要删除得包名)
    2、创建目录:
        mkdir -p /export/softwares    #软件包目录    下载jdk安装包放入该目录中(yum -y install lrzsz)
        mkdir -p /export/servers    #安装目录    解压JDK到当前目录        (tar -xvf jdk-8u251-linux-x64.tar.gz -C ../servers/)
    3、配置JDK环境
        vi /etc/profile
        export JAVA_HOME=/export/servers/jdk1.8.0_251
        export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
        export PATH=$PATH:${JAVA_HOME}/bin
        (生效配置:source /etc/profile)

六、选择其中一台进行mysql安装和配置
    1.查看是否有安装过mysql:        rpm -qa | grep -i mysql
    2.删除mysql    :                yum -y remove MySQL-*
    3.把所有出现的目录统统删除    find / -name mysql
    4.删除配置文件                rm -rf /etc/my.cnf
    5.删除mysql的默认密码        rm -rf /root/.mysql_sercret
    1.配置Mysql 8.0安装源        sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm
    2.安装Mysql 8.0                sudo yum --enablerepo=mysql80-community install mysql-community-server
    4.启动mysql服务                sudo service mysqld start
    5.查看mysql服务运行状态        service mysqld status
    6.查看root临时密码            grep "A temporary password" /var/log/mysqld.log
    7.更改临时密码                
            输入:mysql -uroot -p
            在Enter password:后面输入临时密码
            登录成功
            输入:ALTER USER 'root'@'localhost' IDENTIFIED BY 'Loveshan99..';
            会提示:ERROR 1819 (HY000): Your password does not satisfy the current policy requirements(密码不符合当前策略)
            方案1: 设置符合策略的密码(大小写字母+数据+符号)
            方案2:密码策略改简单一点
        方案2设置方式:
            先看看当前的密码验证策略输入:SHOW VARIABLES LIKE 'validate_password.%';
            策略说明
            validate_password.length 是密码的最小长度,默认是8,我们把它改成6
            输入:set global validate_password.length=6;
            validate_password.policy 验证密码的复杂程度,我们把它改成0
            输入:set global validate_password.policy=0;
            validate_password.check_user_name 用户名检查,用户名和密码不能相同,我们也把它关掉
            输入:set global validate_password.check_user_name=off;
            再执行修改密码的命令
            输入:ALTER USER ‘root’@‘localhost’ IDENTIFIED BY ‘12345’;
            密码设成功
    7.配置远程访问
        输入:GRANT ALL ON *.* TO 'root'@'%';
        看下默认MySQL用户:
        输入:use mysql;
        输入:select host, user, authentication_string, plugin from user;
        输入:CREATE USER ‘root’@’%’ IDENTIFIED BY ‘KC$abc123’;
        输入:select host, user, authentication_string, plugin from user;
        输入:GRANT ALL ON *.* TO 'root'@'%';
    8.客户端连接mysql报错
        原因是mysql8的加密方式规则不一样,是caching_sha2_password
        需要加密方式改成mysql_native_password就行了
        语法:ALTER USER ‘[用户名]’@’%’ IDENTIFIED WITH mysql_native_password BY ‘[密码]’;
        输入:ALTER USER ‘root’@’%’ IDENTIFIED WITH mysql_native_password BY ‘root’;
        加密方式以及改成了mysql_native_password
    9.客户端连接mysql还报错
        查看防火墙状态,关闭状态
        阿里云需要开放3306端口


七、搭建zookeeper集群
    1、下载zookeeper安装包。
    2、安装配置zookeeper,(解压zookeeper到/export/servers/)
    3、配置环境变量:(vi /etc/profile)
        export ZOOKEEPER_HOME=/export/servers/zookeeper
        export PATH=${ZOOKEEPER_HOME}/bin:$PATH
    4、创建文件夹:mkdir /export/servers/zookeeper/zkdatas
    5、创建文件:mkdir /export/servers/zookeeper/zkdatas/myid (添加序号)
    6、修复:(vi conf/zoo.cfg)
        tickTime=2000
        initLimit=10
        syncLimit=5
        dataDir=/export/servers/zookeeper-3.4.9/zkdatas
        clientPort=2181
        autopurge.snapRetainCount=3
        autopurge.purgeInterval=1
        server.1=node1:2888:3888
        server.2=node2:2888:3888
        server.3=node3:2888:3888

展开阅读全文
©️2020 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值