![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技能竞赛
文章平均质量分 80
喝着奶茶敲实验
既然上了考试这条贼船,就努力做一个快乐的海盗(¬ v ¬)
展开
-
大数据技能竞赛(5)_安装 hive
实验中我们选用 hive 的远程模式,slave2 安装 mysql server 用于存放元数据,slave1 作为hive , server 作为 thrift 服务器,master 作为 client 客户端进行操作原创 2021-09-02 10:47:48 · 1109 阅读 · 0 评论 -
大数据技能竞赛(4)_安装 hadoop
安装 hadoop4.1 解压安装包,配置环境变量1. 创建工作路径/usr/hadoop,下载相应软件,解压至工作路径。2.添加 hadoop 环境变量(三台机器执行)4.2 配置 hadoop 各组件1. hadoop-env.sh 运行环境2. core-site.xml 全局参数3. hdfs-site.xml 配置文件4. YARN 框架运行环境5. YARN 框架的核心配置1)首先需要指定 ResourceManager 守护进程所在主机,默认为 0.0.0.0,即当前设备,所以这里指定为 ma原创 2021-06-01 19:29:14 · 1090 阅读 · 3 评论 -
大数据技能竞赛(3)_安装 zookeeper
安装 zookeeper1.下载软件1)创建工作路径/usr/zookeeper,下载相应软件,解压至工作路径。2.配置 zookeeper 环境变量3.配置文件 zoo.cfg1)进入 zookeeper 配置文件夹 conf,将 zoo_sample.cfg 文件拷贝一份命名为 zoo.cfg2)zoo.cfg 文件配置如下:3)在 zookeeper 的目录中,创建配置中所需的 zkdata 和 zkdatalog 两个文件夹。(在 master执行)4)进入 zkdata 文件夹,创建文件 myid原创 2021-05-27 15:54:45 · 435 阅读 · 0 评论 -
大数据技能竞赛(2)_安装JDK
安装JDK1.在根目录下建立工作路径/usr/java2.进入创建的java工作路径3.下载java安装包(master上执行)4.修改环境变量:5.生效环境变量:6.查看 java 版本:7.在 master 中将 JDK 复制到 slave1 和 slave2 中(在 master 执行) 先在master上进行操作,然后远程复制到slave1和slave2 1.在根目录下建立工作路径/usr/java mkdir -p /usr/java 2.进入创建的java工作路径 cd /usr/java原创 2021-05-27 15:21:26 · 431 阅读 · 1 评论 -
大数据技能竞赛(1)_基础搭建
基础搭建1.1更改本地源1.修改主机名2.配置本地源1) 发信号给yum进程2) 进入yum源配置文件3) 删除所有文件4) 下载yum源5) 清除YUM缓存1.2 配置hosts文件1.3关闭防火墙1.关闭防火墙2.查看状态1.4时间同步1.5下载ntp1.master作为ntp服务器2.重启ntp服务(master上执行)3.其他机器进行同步(在slave1,slave2中执行)知识点1.6 制作定时任务1.确保 crontab 服务开启2.输入i3.添加定时任务4.查看定时任务列表1.7配置ssh免密原创 2021-05-27 14:57:55 · 2055 阅读 · 4 评论