大数据修行基础篇------Day04

Linux的基操中有趣的点

1.vi命令的整理

1.1 粘贴的坑：

必须在i键进入编辑格式后，在进行目标内容的粘贴，不然会有内容的缺失

1.2 Error的定位问题

cat xxx.log | grep -C 10 ERROR > error.log
进入尾行模式：/关键字 回车自动匹配 按N键寻找下一个

1.3 设置行号

进入尾行模式：
set  nu(设置行号)
set  nonu(取消行号)

1.4 对文件内容的相应操作

cat /dev/null > xxx.log  置空一个文件
命令行模式常见快捷键：
(1) dd  删除当前行
(2) dG 删除光标当前及以下所有行  
(3) ndd  删除光标当前及以下的n行

(1) gg  跳转到第一行的第一个字母
(2) G   跳转到最后一行的第一个字母
(3) shift+$  转到行尾
生产中 gg + dG 

2.系统命令

2.1 磁盘

[root@hadoop001 ~]# df -h

2.2 内存

[root@hadoop001 ~]# free -m

2.3 负载

[root@hadoop001 ~]# top
top - 21:47:07 up 1 day, 11:24, 2 users,load average: 0.00, 0.01, 0.05
Tasks: 125 total, 1 running, 124 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.3us, 0.3sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 16268360 total,3686432 free,4804424 used, 7777504 buff/cache
KiB Swap: 0 total, 0 free,  0 used. 11099012 avail Mem 

load average:  0.00, 0.01, 0.05
		       1min  5min  10min
经验值 不要超过10 否则认为此物理服务器 IDC机房

3.进程 端口号的整理

3.1 进程

[root@hadoop001 ~]# ps -ef|grep ssh | grep -v grep
root        762     1  0 Nov16 ?       00:00:02 /usr/sbin/sshd -D
root      74886    762  0 20:58 ?      00:00:00 sshd: root@pts/0,pts/1
进程用户   进程的pid 父id

3.2 端口号

[root@hadoop001 ~]# netstat -nlp |grep 762
tcp        0      0 0.0.0.0:22    0.0.0.0:*       LISTEN      762/sshd            
tcp6       0      0 :::22         :::*            LISTEN      762/sshd            
unix  2      [ ACC ]     STREAM     LISTENING     15762    1032/AgentMonitor    /dev/sd_sdmanager_command
[root@hadoop001 ~]# netstat -nlp |grep ssh
tcp        0      0 0.0.0.0:22    0.0.0.0:*       LISTEN      762/sshd            
tcp6       0      0 :::22         :::*            LISTEN      762/sshd

3.3 安装服务，打开web

[root@hadoop001 ~]# yum install http
//下面两句话不同的版本选择不同的执行方式
[root@hadoop001 ~]# service httpd start  
[root@hadoop001 ~]# systemctl start httpd
[root@hadoop001 ~]# systemctl status httpd

service httpd start      centos6.x 7.x
systemctl start httpd    centos7.x

4.连接拒绝(权限受限)的整理

**问题：**在centos部署大数据组件的时候，发现Connection refused
解决办法：
(1) ping ip --------测试 ip
(2) telnet ip port -----------测试ip和端口号
部署telnet命令：
(1) windows 需要安装telnet
(2) linux

[root@hadoop001 ~]# yum install -y telnet
[root@hadoop001 ~]# which telnet 
/usr/bin/telnet
[root@hadoop001 ~]# telnet 192.168.137.130 80
Trying 192.168.137.130...
Connected to 192.168.137.130.

这里80是前面http的端口号

5.高危命令的整理

(1) rm -rf /
好的习惯
(2) vi 生产配置文件 100行 保存 -------- cp xxx.xml xxx.xml20191117
(3) ps 进程 xxx，top命令查询夯住的 / 删除xxx进程

• kill -9 进程pid
• kill -9 进程pid 进程pid 进程pid(杀死多个进程)
• kill -9 $(pgrep -f 匹配关键词)

杀进程之前，先ps 找到相关的进程，搞清楚，哪些是你要杀的，不然造成生产事故

6.常用的weget yum rpm 压缩

6.1 yum相关玩法

yum search xxx
yum install -y xxx-yyy
yum remove xxx-yyy

6.2 weget相关玩法

wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz

6.3 rpm相关玩法

rpm -e --nodeps XXX   --nodes  不校验，直接删除
rpm -qa | grep http   查看当前安装的所有http文件

6.4 压缩的玩法

unzip rundeck.zip
大数据组件的压缩包几乎都是后缀 tar.gz
tar -xzvf hadoop-2.6.0-cdh5.16.2.tar.gz 解压一个tar包
tar -czvf hadoop-2.6.0-cdh5.16.2.tar.gz 打包压缩一个文件