Linux、网络、计算机基础知识

一、了解计算机基础组成

As we all know，咱们的大数据服务器组件都是要搭建在Linux服务器上去跑的。那么首先就来聊聊这个服务器。

服务器说白了就是一个性能好一点的电脑。那么就要知道从那些参数上去了解服务器的优劣。

CPU：又叫中央处理器。是整个电脑的大脑，用来执行指令和代码的。
硬盘：存储设备。就是用来存放数据的一个载体，例如 （文档、视频、图片等）（岁随着现代科技的进步，硬盘现在分为固态硬盘和机械硬盘。他们的物理存储方式不同导致他们的读写 速度不同。机械硬盘：读写速度慢便宜。固态硬盘：读写速度快，贵）
内存：计算机中负责存储CPU要处理的数据存储设备。脑子记忆(临时缓存CPU要处理数据和执行指令(代码))。特点：1. 数据非持久化保存(断电、关机、程序停止数据丢失) 2. 数据读写速度非常快 3. 容量小。4. 价格贵。
网卡： 计算机们之间需要通信吧，例如你电脑上的数据想要通过网络去传输到另一台电脑上 ，计算机会将你电脑上的数据封装成二进制数据通过网卡沿着网线传送到另一台电脑上。网卡就是起到了网络数据传递的作用

二、聊聊操作系统

上面说的这些概念都是一些计算机硬件相关的。我们知道咱们的电脑想要正常使用，是不是得首先有键盘、鼠标、显示器、和上面说的这些等硬件，还得有软件进行支持服务呀。在拿到这些硬件之后你首先得给他装上一个操作系统：用来调度这些硬件工作。然后在操作系统上安装一些QQ、WPS、微信等app。这些都属于软件 。

常见的操作系统：windows linux unix macos ios android 等

Windows、macos都不开源，部分功能收费 ，ios 安卓是手机端的操作系统都不适合用来做服务器操作系统。Linux开源免费，生态好，就选用他来作为服务器。

服务器的一般配置：（CPU (10核20线程)、内存( 64G )、硬盘 ( 3T 机械硬盘 100kb/s 100M/s~200M/s )、网卡 (千兆网卡)）

现在企业做大数据项目部署的时候一般有以下两种方案：1、自建机房。就是自己买服务器，在找一个安全可靠的机房环境（要保证服务器的正常运行，场地 需要恒温、干燥、永不断电等），然后自己雇佣运维人员搭建管理。2、购买大厂们提供的云服务器（例如华为的鲲鹏、阿里云、腾讯云等）。两种解决方案各有各的优缺点 。可以根据自己项目的大小等因素选择不同的解决方案

三、前置知识

首先把电脑上的环境搭建起来：先安装一个Vmware 虚拟机，在创建一个Linux虚拟机（安装步骤在网上一大堆，百度一下即可。现在Vmware一般用16，Linux使用CentOS7镜像）

1、数字指纹
为了保证文件在网络传输过程中的完整性，通过一些加密算法对文件内容进行计算得出一个唯一标识。通过对比来检验文件内容是否被修改过。可使用命令：md5sum 文件名 计算出 两个文件的加密过后的值 ，通过比较判断内容是否改变 。

2、Linux基础知识
1、文件系统（元空间和数据空间）
说到Linux系统，用一句话概括就是一切皆文件。他和我们平时见到的windos系统最大的区别就是没有 可视化图形界面。只有一个命令行窗口，也是我们的主战场。

我们知道所有的数据都是存储在硬盘上的。我们比如说创建出来 一个文件 ，我们只是在 这个文件里面输入了一些汉字或一些字符串，然后保存。那么像权限、创建时间、文件所属用户等这些信息又是什么呢？

在Linux的文件存储系统中有元空间和这个数据空间这两个概念当我们创建出来一个文件之后，电脑会将我们的数据通过磁头刻在硬盘的磁道上。我们 所编辑的这些内容被存在了一个叫数据空间的地方，它就是单纯的只存储了数据。像文件的大小、权限、用户组、日期 、等 等都被存在了元空间中。其中元空间中还存储了一个物理地址，通过这个物理地址就可以寻址到数据空间里面找到真正存储的数据。

2、Linux中的ip地址

在Lilnux中我们可以虚拟出来一台虚拟机。这个虚拟机同时也具备了和正常主机一样的一些基本功能。那么现在来思考一下虚拟机是怎么上网的。

想一下比如说我们家里面的台式机想上网。我们会怎么办，我们是不是会先打电话找联通或者移动电信之类的运营上，找他们先到我们 住的小区来 先拉一根网线，然后通过光猫（调制解调器：将光信号转换为电信号）然后在接到路由器上，然后在拉一根网线从路由器接到我们的电脑机箱上，我们的电脑机箱就可以上网了。其实在网络数据的传输过程中，真正到达网线中的都是一些二进制的01代码。我们的文件都是通过一层一层的 向下传递直至我们电脑中 的网卡。通过网卡 ，将信息通过网线传到对方的网卡中。其中这个网卡就承担了一个很重要的 角色。那么 我们在自己电脑上创建出来的虚拟机也可以上网，那他是不是 也有一个类似于这样的一个网卡呢？答案是有，只不过是虚拟出来的:在我们安装Vemware的时候会在电脑的网络适配器那里多创建出来两个网卡 Vmnet1和Vmnet8：

关于这里我想分享一个经验：就是有的人安装完Vmware 之后在网络适配器里面没有这两个虚拟网卡，网上一般会有两种解决方案：第一种就是使用一些强力清除工具把这个软件彻底卸载了之后再重新安装一遍。第二种的就是在虚拟网络编辑器中恢复默认设置。大部分的问题都可以这样解决。但是我之前就见过一个两种方法都试了但是他就是不出来。这里就分享一下第三种解决方法：就是右键此电脑—管理–然后点设备管理器 然后看着两个图标上面是否有感叹号：如果有的话就禁用设备，然后再启用就OK了

关于这两个网卡呢，可以在Vmware的编辑 —虚拟网络 编辑器中查看详细的信息和进行配置：

一般我们会在创建虚拟机的时候，会在安装界面点击 NET设置，然后打开网卡，在配置那里可以直接设置静态Ip地址。当然也可以在Linux启动之后在配置文件里面设置。这里推荐使用静态 的 IP地址，因为我们后面需要使用远程SSH工具连接服务器，如果是动态获取的Ip地址，他有一个租期：这个可以在 上面说道的网络 编辑器 里面查看。当这个租期到期后会给你重新分配，这时候很有可能你就分配不到上次 分配到的IP了。那你就得麻烦在重新配置SSH连接。使用静态的就不会出现这种情况了

其中租期最长为63天
下面就讲一下在虚拟机中如何通过配置文件修改为静态IP地址：

首先输入这个 命令打开 文件进行编辑

然后按“i”进入编辑模式，去修改里面的这几项信息：

最后保存退出：先按esc键，然后输入wq 再回车

然后重启网络服务：service network restart 看到ok 后输入ip addr 就可以查看到修改过后的地址了。

3、Linux中基础常用命令
cd /… 切换目录
ip addr 查看当前的IP地址
systemctl stop firewalld 系统控制-停止-防火墙（服务）
vi /etc/sysconfig/network-scripts/ifcfg-ens33 使用vi编辑器编辑这个目录下的XXX文件
编辑文本时 先按"i"进入编辑 模式。在进行编辑编辑完成之后。按ESC键进入底行模式 再输入wq保存退出
service network restart 编辑完网络配置之后再重启 网络服务让 配置生效（systemctl restart network 这个命令也可以）
dhclient 如果配置的是动态获取ip地址可以使用这个命令来重新获取ip地址
ping www.baidu.com 通过连接百度的 服务器来判断网络是否畅通
yum install vim -y 使用yum方式下载安装vim这个工具安装过程默认执行yes
hostname 查看当前的主机的名字
hostnamectl set-hostname XXX 主机名） 设置主机的名字
ps -aux 等价于 ps -ef 查看系统进程
kill 进程ID (建议)
kill -9 进程ID # 强制杀死某个进程。 (危险)
yum install -y psmisc 安装进程管理工具
pstree 以tree结构查看linux进程。（表示进程之间的依赖关系）
killall [进程名] 根据进程名杀死某个进程
scp -r 本地的文件 root@远程linuxip:/远程linux的目录路径
4、远程连接
远程连接可以使用finalshell远程连接工具进行远程连接。（这个工具是国产的，而且可以换壁纸啥的界面挺好看的，推荐使用）

当我们在虚拟机中创建完一台服务器的时候，或者在网上买回来之后，拿到手里的一般只有这台主机的ip地址、用户名和密码。我们一般要使用远程登录到这台 电脑上去操作数据。为什么不去机房直接在服务器上操作呢，主要是因为服务器 一般都放在安全的生产环境里面，如果随意进出的话有害于机房安全。其次是因为在Linux服务器中没有可视化界面，使用远程连接的时候也未必不方便。而且使用ssh工具的话还会有可视化界面可以监控系统使用率。直接上传下载文件等操作

5、域名映射
域名映射、ip映射。是指计算机网络之间通信依靠IP地址进行寻址找到对应的机器

这个东西就像是咱们日常生活中的电话本。让你记住好友的一个电话号可以记住那记忆十个一百个呢。然后我们就是用了电话本这个技术。将好友的电话号和姓名 存在这个电话本之中。以后在 给这个好友打电话的时候就不用使用电话号码了。直接记住好友的名字，然后通过名字给他打电话就可以了，在电话拨出的时候会自动转换成对应的电话号码

在网络通信中也是这样。他在根目录的etc文件夹下有一个hosts文件。这个文件就相当于是一个电话本子。在这个本子上记录对方的 ip地址和备注就行。下次再进行通信的时候直接输入填的备注就可以自动转换为对应的ip地址了。
6、免密登录的原理和实现
免除密码登录。使用在当我们经常访问一个主机的时候。每一次访问都得输入密码，就会显得 很繁琐。这时候就出现了这个免密码登录的技术，让我们在设置完之后登录的时候不用再输 密码了。使用了公钥和私钥技术

实现：
远程登录的命令为：ssh 用户名IP地址 例：ssh root@hadoop2 然后回车在输入 密码即可
首先在我们自己的服务器上先生成一个公钥和私钥.然后把公钥发送到需要登录的服务器上。下次登录的时候即可免密登录。

1. 生成公钥和私钥[root@hadoop1.ssh]# ssh-keygen
2. 发送公钥到hadoop2[root@hadoop1.ssh]# ssh-copy-id hadoop2
   本质：将hadoop1上的id_rsa.pub文件中内容保存到hadoop2的 /root/.ssh/authorized_keys文件中
   原理：
   两个服务器之间想要通信，原理就是现在自己的服务器1上生成一个公钥和一个私钥。私钥是自己的唯一凭证，自己要好好保管，不能丢失。然后将公钥发送出去给另一台服务器2。当下一次自己的服务器1想要登录另一台服务器2的时候。1 说我想要不用密码登录你 2。那么 2怎么知道你是不是真的1，你说 你是1 你就是1了么？，这时候2会 使用1上次给2发送的公钥加密一条随机的信息发给1 ，对1说，既然你说你是1，那你就用 1的私钥把这个密文解开发给我 看看是不是我刚才随机生成的信息。因为公钥和私钥是唯一对应的。只有你是真的1，那你才能正确的解开我加密的数据。然后就可以确定你的身份了，如果你解开返回的 信息 对应那就让你 免密登录。如果 不一样，那你就不是真的 1，就不让你免密登录

7、主机环境的准备
分布式环境一共需要4台虚拟机。一台用来做伪分布式，另外三台做分布式

环境搭建思路：
先安装一台Centos7服务器。
关闭 防火墙。设置防火墙不开机自启
在/etc/hosts里面配置主机映射文件
在/opt/下面建立三个目录，一个用来放软件的安装包。一个用来安装软件。一个用来存放数据
安装jdk环境
在上面安装完之后就可以关机并做一个快照，后面三个直接克隆，克隆完之后在做修改

另外三台都这样配置
修改IP地址
设置主机的名字
实现4太机器之间的相互免密登录

简单实现 步骤
准备4台服务器

hadoop10 伪分布式
hadoop11 hadoop12 hadoop13 分布式

1.ip设置 192.168.x.10 192.168.x.11 192.168.x.12 192.168.x.13

2.防火墙

[root@localhost bin]# systemctl stop firewalld 关闭防火墙

[root@localhost bin]# systemctl status firewalld 查看防火墙状态

关闭防火墙开机自启动： systemctl disable firewalld

3.主机名
hostnamectl set-hostname hadoop10(主机名)

4.ip和主机名映射 vi /etc/hosts

5.在/opt目录下，新建三个目录 modules(软件安装包) installs(安装文件的位置) data(测试)

6.安装jdk1.8

先将下载好的jdk.tar.gz 的安装包上传到软件安装包的目录下

[root@hadoop9 modules]# tar -zxvf jdk-8u171-linux-x64.tar.gz -C /opt/installs/

[root@hadoop9 installs]# mv jdk1.8.0_171/ jdk1.8

[root@hadoop9 installs]# vi /etc/profile

export JAVA_HOME=/opt/installs/jdk1.8

export PATH=$PATH:$JAVA_HOME/bin

[root@hadoop9 installs]# source /etc/profile

输入Java弹出java的相关信息 即可