大数据技能竞赛

本文详细介绍了如何进行大数据环境的搭建,包括Zookeeper、Hadoop、HBase、Hive和Spark集群的配置与启动。从关闭防火墙、主机名修改到各个组件的安装与配置,再到Python爬虫的实现,提供了全面的步骤指南。
摘要由CSDN通过智能技术生成

1 界面介绍

1.1 两个ip

左 (局域网) 配置集群使用
右(外网地址) 连接XSHELL

注:做完一小项验证一次(提交时间影响成绩)

1.2 主机登录

登录三台服务器

(终端:ssh root@ip)

2 基础环境

2.1 关闭防火墙

(三台)
关闭防火墙:systemctl stop firewalld
永久关闭防火墙 : systemctl disable firewalld
关闭防火墙

2.2 主机名修改,主机与ip地址映射关系(ip地址使⽤的是局域⽹)
bash
hostnamectl set-hostname h-master(根据题目要求)
bash

修改主机名

// 配置host文件
vim /etc/hosts

ip与主机名字映射关系

2.3 ssh免密
// 生成密钥对信息
# ssh-keygen -t rsa

# cd ~/.ssh/
# ls
// Id_dsa.pub 为公钥,id_dsa 为私钥,紧接着将公钥文件复制成 authorized_keys 文 件:(仅 master)
# cat id_dsa.pub >> authorized_keys
// 更改权限
# chmod 600 authorized_keys
// 重启sshd协议
# systemctl restart sshd

// 分发密钥
# ssh-copy-id root@slave1
# ssh-copy-id root@slave2
2.4 repo文件
// 下载
# cd~
#  wget http://.(本地).............repo (给定地址)
# ls
// 替换原有repo文件
# cd /etc/yum.repos.d/
# ls
# cp bigdata.repo bigdata.repo.old (对原有repo文件备份)  (三台)
# cp ~/bigdata.repo ./

// 分发给slave
# scp bigdata.repo root@slave1:/etc/yum.repos.d/
# scp bigdata.repo root@slave2:/e
  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值