一些常用的Linux命令 --持续更新 自用！

du -h 文件名

查看文件大小   以K、M、G为单位

ls weibo/*.zip | xargs -n1 unzip -d weibo_text/

将weibo文件夹里所有的.zip结尾的压缩包全部解压到weibo_text文件夹中
xargs -n1    命令在执行的时候一次用的参数的个数为1
unzip    解压Zip压缩包

在处理大数据的时候，开始会做数据洞察：1.查看数据占磁盘情况。2.数据的记录条数。3.文件个数和平均文件大小

此时查看数据的记录条数就会用到

wc -l [filepath]

查看文件的行数，因为一般将数据load到Hive里大多都是按文件一行一行录入，因此在数据洞察时优先了解文件行数可以和最后load完之后对表中数据做count，以此来对比数据是否有严重丢失情况。

ls [filepath] | xargs -n1 echo | cut -d . -f1

将文件目录下的文件以.切割返回文件名集合

一般用来给文件去后缀
-d 以符号来切割

后台程序运行及停止

nohup [commend] &
使程序后台运行 退出客户端或者窗口都不会影响其运行
直到运行结束 或者被 kill 掉才会终止
会生成一个 nohup文档

ps x 
显示所有正在运行程序（个人感觉和windows系统中的任务管理器有点像）  配合上面的Linux命令可以查看工作的进程和相应的编号
可以采用
kill -9 [编号] 
来kill 进程

定时执行命令

crontab -e
# 此时会进入 vi 的编辑画面让您编辑工作！注意到，每项工作都是一行。
#分 时 日 月 周      |<==============任务的完整命令行
 *  *  *  *  *       /home/blue/do/rsyncfile.sh

  安装一些小工具/应用

yarm -install <应用名>

查看Linux的内存情况

free [-m/-g]  以MB为单位查看/以GB为单位查看

查看Linux的磁盘情况

df [-m/-g] 以mb/gb为单位查看磁盘状况

 

查看内核相关信息

uname -a 

查看主机名

hostname     查看主机名
hostname -i  查看主机对应ip

若想永久修改主机名，需要以下两步操作：

a.编辑      /etc/sysconfig/network  配置文件，将其中的hostname改为自己想要的名字

b.编辑     /etc/hosts     配置文件，修改为 ip      name

然后重启系统。

修改用户名

  usermod  -l  新用户名  老用户名   虽然用户名改了，但家目录的文件夹名不会改

切换用户  

su  用户名

 

查看CPU信息

cat  /proc/cpuinfo

 查看CPU负载信息

top

查看网卡信息

ifconfig

查看端口号被占用程序

lsof -i：端口号

查看TCP/UDP端口号的使用情况

netstat -apu/-apt       u指的是UDP，t指的是TCP

查看网络状态

netstat -nutl        以IP：端口号  查看TCP/UDP协议


netstat -an          列出所有网络连接信息



netstat -rn          查看网关  与 route -n 等效 

添加临时网关（几乎不用，不需要也没必要用）

route add default gw（geteway）  192.***.***.***

在一台服务器里，连内网的的网卡是不能设置网关的

命令查看DNS

nslookup       进入命令行  再输入server


nslookup  www.baidu.com        查看DNS

查看和修改DNS

配置文件/etc/resolv.conf       此为暂时修改，永久修改需要去/etc/sysconfig/network-scripts/ifcfg-eth0配置文件中

DNS1=114.114.114.114

查看和修改MAC地址

/etc/sysconfig/network-scripts/ifcfg-eth0

添加MACADDR=00:0C:29:36:97:20

注释掉原来的HWADDR

路由追踪命令：查看从本机到目标的连接经过了哪些节点，可以找到数据包在那个节点有问题

traceroute  www.baidu.com/ip号    

下载命令： wget

 

打开/关闭防火墙 iptables

service iptables start/stop     打开/关闭

查阅正在改变的日志文件

tail -f 文件名     实时查看，若要退出 则按 ctrl+c

列出所有启动的服务

chkconfig --list |grep on

统计系统所有用户的登录时间和信息

last

检查最后一次登录本系统的用户登录的时间信息

lastlog

查看历史操作指令

history


!!      执行上次操作