大数据学习

@记录自己复习大数据学习的第一天-环境搭建

环境搭建

首先安装一台虚拟机,最好是linux系统的虚拟机,操作系统可以是centos亦可以是ubantu系统,两者均可,现在只是我用linux的centos系统所演示的版本!!

安装虚拟机的过程不在演示了.

环境准备1-修改ip地址, 并通过远程连接工具连接三台虚拟机

为什么一定要是3台呢,因为大数据的组件大部分是主从结构,有master和slave这两种角色,所以这一般都是奇数的机器个数,所以我这边采用的就是3台机器的构成.

修改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

以下是图中部分参数的详细介绍:
TYPE=“Ethernet”: 指定网络接口类型为以太网。PROXY_METHOD=“none”: 指定不使用代理服务器。
BROWSER_ONLY=“no”: 指定非仅供浏览器使用。
BOOTPROTO=“static”: 指定使用静态 IP 地址，不通过 DHCP 获取。(注释:DHCP(动态分配), static(静态ip), none(什么都不做))
DEFROUTE=“yes”: 指定默认路由设置为此接口。
IPV4_FAILURE_FATAL=“no”: 指定不将 IPv4 配置故障视为致命错误。
IPV6INIT=“yes”: 指定启用 IPv6。
IPV6_AUTOCONF=“yes”: 指定使用 IPv6 自动配置。
IPV6_DEFROUTE=“yes”: 指定默认 IPv6 路由设置为此接口。
IPV6_FAILURE_FATAL=“no”: 指定不将 IPv6 配置故障视为致命错误。
IPV6_ADDR_GEN_MODE=“stable-privacy”: 指定使用稳定的隐私地址生成算法，以增强安全性。
NAME=“ens33”: 指定接口名称为 ens33。
UUID=“582c6c42-62d3-43d6-adde-d3d0333802cb”: 指定接口唯一标识符。
DEVICE=“ens33”: 指定接口设备名称为 ens33。
ONBOOT=“yes”: 指定系统启动时自动启用此接口。
IPADDR=“192.168.88.161”: 指定 IPv4 地址为 192.168.88.161。
PREFIX=“24”: 指定 IPv4 子网掩码为 255.255.255.0。
GATEWAY=“192.168.88.2”: 指定默认网关为 192.168.88.2。
DNS1=“8.8.8.8”: 指定首选 DNS 服务器为 8.8.8.8。
DOMAIN=“114.114.114.114”: 指定 DNS 域名为 114.114.114.114。
IPV6_PRIVACY=“no”: 指定禁用 IPv6 隐私地址。

修改完IP配置文件后,请务必重启网卡信息.

systemctl restart network
ifconfig 查看IP信息是否修改成功

环境准备2-修改主机名 和 域名映射

修改主机名
vim /etc/hostname
三台机器的主机名分别是:
node1.bigdata.cn
node2.bigdata.cn
node3.bigdata.cn
hostname //查看本机的主机名
修改域名映射
vim /etc/hosts
192.168.88.161 node1.bigdata.cn node1
192.168.88.162 node2.bigdata.cn node2
192.168.88.163 node3.bigdata.cn node3
做完以上操作后,请务必重启虚拟机!
reboot和init 6 重启快捷键
shutdown -h now和init 0关机快捷键

以上是修改Linux环境的主机名和域名映射

接下来是对我们自己的物理机修改域名映射:
在 c:/windows/system32/drivers/etc 下, 修改 hosts文件, 把下述的内容贴近去即可.这里不一定非得是C盘,这里的C盘指代的是我们系统所安装的磁盘!!!
192.168.88.161 node1.bigdata.cn node1
192.168.88.162 node2.bigdata.cn node2
192.168.88.163 node3.bigdata.cn node3

环境准备3-关闭防火墙及Selinux深层防火墙

1.关闭防火墙
systemctl status/start/stop/disable/enable firewalld
systemctl stop firewalld 关闭防火墙
systemctl status firewalld 查看防火墙状态
systemctl start firewalld 开启防火墙
systemctl disable firewalld 禁用防火墙
systemctl enable firewalld 启用防火墙
2.关闭深层防火墙
关闭深层防火墙（Deep Packet Inspection Firewall，DPI Firewall）的原因可能是出于以下几点考虑：

网络性能问题：DPI 防火墙在分析网络流量时需要深度解析每个数据包，因此可能会对网络性能造成一定的影响。在某些情况下，为了保证网络的快速响应和高效运行，可能需要关闭 DPI 防火墙。

兼容性问题：某些应用程序或网络服务可能会受到 DPI 防火墙的干扰，导致其无法正常工作。关闭 DPI 防火墙可能会解决这些兼容性问题。

隐私和安全问题：DPI 防火墙可以深度解析网络流量，包括应用层协议和数据内容，因此可能会对用户的隐私和数据安全构成一定的威胁。在一些情况下，可能需要关闭 DPI 防火墙来保护用户的隐私和数据安全。

需要注意的是，关闭 DPI 防火墙可能会降低网络安全性，因为它能够检测和阻止一些网络攻击和威胁。因此，在关闭 DPI 防火墙之前，需要评估网络的安全性和风险，并采取其他有效的安全措施来保护网络安全。

因为Linux系统默认认为一个程序的线程数超过1W个, 它就是"病毒线程", Linux会把它强制杀死, 后期我们数据量上来了, 很有可能出现误杀进程的情况.显然我们这里关闭深层防火墙是为了让我们的大数据环境更好的运行下去

vim /etc/selinux/config

把 selinux的值从 enforcing(强制) 改为 disabled

重启即可!

环境准备4-配置SSH免密登陆

SSH免密登录原理:

具体操作:

1. 分别在node1, node2, node3中执行如下的命令, 生成公钥, 私钥.
   ssh-keygen 注:需要再敲3次回车

2. 把node1, node2, node3的公钥分别发送给node1
   ssh-copy-id node1 注:这次发送的时候需要录入密码的

3. 从node1中把 authorized_keys 文件发给 node2, node3. 注:本次也需要密码.
   node1中执行如下的命令:
   cd /root/.ssh
   scp authorized_keys node2:$PWD注:需要密码scpauthorize{d}_{k}eysnode3:$PWD 注:需要密码

4. 此时, 任意的机器之间, 相互连接, 都不需要录入密码了.

环境准备5-配置时钟同步

概述:
保证服务器集群的时间是一致的, 主要有: 在线时钟同步 和 离线时钟同步两种.
原理简介: