学习笔记（二）Linux命令和相关知识点

一. 卸载hadoop步骤命令

停止hadoop服务：sudo systemctl stop hadoop*（sudo相当于管理员身份来停止）

删除hadoop文件夹路径：sudo  rm  -rf  hadoop文件路径

删除hadoop用户：sudo userdel  -r hadoop

删除hadoop环境变量：vim /etc/profile（进入配置文件删除）

删除hadoop配置文件：sudo rm -rf /etc/hadoop

删除hadoop日志文件：sudo rm -rf /var/log/hadoop

删除hadoop数据文件：sudo rm -rf/data/hadoop

删除Hadoop启动脚本：sudo rm -rf/etc/init.d/hadoop

二. 防火墙（firewalld）的基本命令

启动：systemctl start firewalled.service （可以不加service）

停止firewalled：systemctl stop firewalled.service （可以不加service）

查看状态：systemctl status firewalled.service （可以不加service）

禁止开机启动：systemctl disable firewalled.service （可以不加service）

开机启用：systemctl enable firewalld.service （可以不加service）

查看服务是否开机启动：systemctl is-enabled firewalld.service

查看已启动的服务列表：systemctl list-unit-files|grep enabled

查看启动失败的服务列表：systemctl --failed

三. 配置firewalld-cmd类的命令：

查看版本： firewall-cmd --version

查看帮助： firewall-cmd --help

显示状态： firewall-cmd --state

查看所有打开的端口： firewall-cmd --zone=public --list-ports

更新防火墙规则： firewall-cmd --reload

查看区域信息:  firewall-cmd --get-active-zones

查看指定接口所属区域： firewall-cmd --get-zone-of-interface=eth0

拒绝所有包：firewall-cmd --panic-on

取消拒绝状态： firewall-cmd --panic-off

查看是否拒绝： firewall-cmd --query-panic

四. cat命令

cat通常是用于观看某个文件的内容的，cat有三大功能

        1.一次显示整个文件（查看文件内容）

格式：cat 新文件名

        2 . 从键盘新创建一个文件

格式：cat  > 新文件名

输入后直接输入要写入的内容，然后按下Ctrl+D就创建完成

        3.将几个文件合并为一个文件（被合并的两个文件依然存在，相当于是将两个文件的内容合并起来新建了另一个文件）

格式：cat  文件名1  文件名2 > 新文件名

五. 集群免密配置相关命令

vim  /etc/hosts  进入hosts配置文件，添加需要相互访问的主机IP和主机名

scp  /etc/hosts  root@hadoop02:/etc/hosts 将添加好的hosts文件内容拷贝到hadoop02上（拷贝完成后可以在hadoop02上输入cat /etc/hosts查看是否拷贝成功)

ssh-keygen -t rsa

 六. scp命令：

解释：Scp主要用于 Linux 之间复制文件和目录，基于 ssh 登陆进行安全的远程文件拷贝命令。scp 是加密的，rcp 是不加密的。

用法：

         2. 从本地复制到远程

scp  (参数)  文件位置  用户名@主机名/主机IP:文件位置（指定了用户名，命令执行后需要再输入密码）

   例：scp  -r  /home/space/music/  root@www.runoob.com:/home/root/others/

scp  (参数)  文件位置  主机名/主机IP:文件位置（没有指定用户名，命令执行后需要输入用户名和密码）

  例：scp  -r  /home/space/music/  www.runoob.com:/home/root/others/

        3. 从远程复制到本地（只要将从本地复制到远程的命令的后两个参数调换顺序即可）

例：Scp  root@www.runoob.com:/home/root/others/music  /home/space/music/1.mp3

scp  -r  www.runoob.com:/home/root/others/   /home/space/music/

Scp参数：

• --r： 递归复制整个目录（常用。递归的意思是将这个目录下的所有子目录的文件递归全部传输给目标机。因为在文件系统中如果不写-r将1目录拷贝到目标机的话，只会将1目录这个目录拷贝过去，而不会将1目录下的子目录文件拷贝过去，所以要加-r参数递归拷贝）
• 1 ：强制scp命令使用协议ssh1
• -2 ：强制scp命令使用协议ssh2
• -4： 强制scp命令只使用IPv4寻址
• -6： 强制scp命令只使用IPv6寻址
• -B： 使用批处理模式（传输过程中不询问传输口令或短语）
• -C： 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）
• -p：保留原文件的修改时间，访问时间和访问权限。
• -q： 不显示传输进度条。
• -v：详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。
• -c cipher： 以cipher将数据传输进行加密，这个选项将直接传递给ssh。
• -F ssh_config： 指定一个替代的ssh配置文件，此参数直接传递给ssh。
• -i identity_file： 从指定文件中读取传输时使用的密钥文件，此参数直接传递给ssh。
• -l limit： 限定用户所能使用的带宽，以Kbit/s为单位。
• -o ssh_option： 如果习惯于使用ssh_config(5)中的参数传递方式，
• -P port：注意是大写的P, port是指定数据传输用到的端口号
• -S program： 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

七. 相关知识点

• linux系统网络部署的模式:
  1. 桥接模式:

桥接模式是指将主机网卡与虚拟机的虚拟网卡利用虚拟网桥进行通讯，桥接模式中网卡与网卡都处于交换模式，可以相互访问，但互不干扰，且虚拟机IP地址需与主机在同一个网段。(虚拟机IP地址与物理机在同一个网段，如果需要联网，则网关与DNS需要与物理机网卡一致。)

                  2. NAT模式

NAT模式是指虚拟NAT装备或虚拟DHCP服务器实现的虚拟机联网，NAT模式中主机网卡是直接与虚拟NAT装备相连的，其作用是实现主机与虚拟机之间的通讯。(你的主机起路由器的作用, 虚拟机相当于路由器下面的子网. 所以他们之间可以ping通, 但是其他主机看不到子网里面的机器

                 3. 仅主机模式

仅主机模式是指只能访问主机及使用指定网卡虚拟机的网络模式，仅主机模式中主机网络以外的计算机没法进行访问。(主机可以访问虚拟机。但是虚拟机不能访问主机，也不能访问外网。)

• linux系统中常见文件夹的作用

*/etc：系统管理和配置文件

*/home：如果建立一个名为“xx”的用户，那么在/home目录下就有一个对应的“/home/xx”路径，用来存放该用户的主目录

*/tmp：公用的临时文件存储点

*/sbin：系统管理命令，这 里存放的是系统管理员使用的管理程序

*/opt 第三方软件在安装时默认会找这个目录

/usr：最庞大的目录，要用到的应用程序和文件几乎都在这个目录

/var：该目录存放那些经常被修改的文件，包括各种日志、数据文件

/bin：该目录中存放Linux的常用命令

/dev：该目录包含了Linux系统中使用的所有外部设备

/boot 该目录默认下存放的是Linux的启动文件和内核

/root 如果你是以超级用户的身份登录的，这个就是超级用户的主目录

/lib 该目录用来存放系统动态链接共享库

• 大数据集群搭建时奇数台机器最好

 奇数台机器的原因是由于zookeeper的选举规则：leader选举导致

（必须得有一个机器是leader或者master节点，如果是偶数，1. 小集群的数量都=总节点数量/2，无法选举出leader，导致zookeeper彻底不提供服务，使得集群失效。2. 小集群各自选出自己的master节点，导致原有的集群出现多个master节点的情况，这就是脑裂。

• 配置网络

为虚拟机配置网络时，可以选择IP获取方式是静态（static）还是动态（DHCP），动态就是自动随机的获取IP地址，而静态则是只有一个固定的IP

• SSH

解释：利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。为了在不同平台/网络主机之间的通信安全, 很多时候我们都要通过ssh进行认证. ssh认证方式主要有2种:

① 基于口令的安全认证: 每次登录的时候都要输入用户名和密码, 由于要在网络上传输密码, 可能存在中间人攻击的风险;

② 基于密钥的安全认证: 配置完成后就可以实现免密登录, 这种方式更加安全 —— 不需要在网络上传递口令, 只需要传输一次公钥. 常见的git的ssh方式就是通过公钥进行认证的。

配置SSH免密登录用法：

第一步：安装。

需要用到ssh-keygen和ssh-copy-id，所以需要安装（相关命令：yum install -y ssh-keygen  /yum install -y ssh-copy-id ）

第二步：进入hosts配置文件，添加需要相互访问的主机IP和主机名

第三步：利用ssh-keygen指定密钥类型来生成密钥

第四步：利用ssh-copy-id工具将A生成的密钥发送给B，则在A服务器上能免密登录B服务器。

注 ：ssh连接是单向的, A能免密登录B, 并不能同时实现B能免密登录A.