![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
竞赛
文章平均质量分 72
酸菜鱼本鱼_
这个作者很懒,什么都没留下…
展开
-
大数据技能竞赛之Spark搭建(五)
以下操作除特殊说明外都在三个节点上操作。一、安装Scala软件包使用xftp将软件包上传至三台虚拟机的/usr/package文件夹下创建工作目录mkdir -p /usr/scala解压缩cd /usr/packagetar -zxvf scala-2.12.12.tgz -C /usr/scala配置环境变量vi /etc/profile加入以下内容保存后退出,使环境变量生效source /etc/profile检验是否安装成功s...原创 2021-11-06 22:37:23 · 2746 阅读 · 1 评论 -
Hadoop集群动态添加/删除节点
一、准备新节点,命名为slave31、修改新节点的主机名hostnamectl set-hostname slave3bash2、关闭防火墙systemctl stop firewalldsystemctl disable firewalld二、安装JDK1、创建工作目录mkdir -p /usr/java2、解压缩(安装包位于/usr/package)cd /usr/packagetar -zxvf jdk1.8.0_221.tar.gz -C /usr/原创 2021-09-07 19:49:55 · 2853 阅读 · 1 评论 -
大数据技能竞赛之构建数据仓库(二)
环境中master 作为客户端,slave1 作为服务器端,因此都需要使用到 hive。以下操作除特殊说明外都在master,slave1节点上操作。一、将hive安装包解压到指定路径/usr/hivemkdir -p /usr/hivecd /usr/packagetar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/hive二、设置hive系统环境变量vi /etc/profile加入以下内容使文件生效source /e.原创 2021-09-04 16:48:23 · 1496 阅读 · 0 评论 -
大数据技能竞赛之构建数据仓库(一)
以下命令除特殊说明都在slave2上操作一、判断是否安装mysql-community-server[root@slave2 ~]# rpm -aq | grep mysql-community-server出现以下界面则说明已经安装二、判断是否开启mysql服务[root@slave2 ~]# systemctl status mysqld出现以下界面说明已经开启三、mysqld.log日志下生成临时密码[root@slave2 ~]# grep "temporar原创 2021-09-02 22:24:50 · 1218 阅读 · 0 评论 -
大数据技能竞赛之hadoop完全分布式集群搭建(三)
一、将hadoop安装包解压到指定路径/usr/hadoopmkdir -p /usr/hadooptar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop二、配置hadoop环境变量vi /etc/profile添加以下内容使文件生效source /etc/profile三、配置hadoop运行环境JAVA_HOME切换到/usr/hadoop/hadoop-2.7.3/etc/hadoop目录cd/usr/hadoop/ha..原创 2021-09-02 21:07:15 · 2915 阅读 · 0 评论 -
大数据技能竞赛之zookeeper集群环境搭建(二)
一、将zoo安装包解压到指定路径/usr/zookeeper1、新建目录[root@master usr]# mkdir zookeeper[root@slave1usr]# mkdir zookeeper[root@slave2usr]# mkdir zookeeper2、解压缩[root@master package]# tar xvf zookeeper-3.4.10.tar.gz -C /usr/zookeeper[root@slave1 package]# tar ..原创 2021-09-02 14:01:37 · 2025 阅读 · 0 评论 -
大数据技能竞赛之基础环境配置(一)
一、修改主机名在master上操作[root@localhost ~]# hostnamectl set-hostname master[root@localhost ~]# bash[root@master ~]# hostname在slave1、slave2上操作类似,仅把主机名修改即可二、判断是否关闭防火墙[root@master ~]# systemctl status firewalld[root@slave1~]# systemctl status firewalld[ro.原创 2021-09-02 13:27:24 · 3961 阅读 · 0 评论 -
大数据技能竞赛之前提准备
一、准备三台虚拟机在VM上创建三台虚拟机,分别命名为master、slave1、slave2。在虚拟机上安装centos7系统,并确保虚拟机可联网,然后使用Xshell7连接三台虚拟机,如下所示二、安装NTP服务先检查三台虚拟机是否安装了ntp服务,如果没有则需要自行安装。[root@localhost~]# rpm -qa|grep ntp出现如上界面则说明ntp服务已经安装。[root@localhost ~]# yum install ntp -y三、准备安装...原创 2021-09-02 10:19:25 · 1133 阅读 · 0 评论