Linux、hbase、hive、shell、sqoop笔记总结+一键开启关闭脚本

Linux笔记

pwd——————查看当前目录
cd——————切换目录

ls——————查看当前目录下的目录及文件
ls-l或ll——————长格式查看当前文件
ls-a——————查看当前隐藏文件
ls-R——————查看当前目录以及旗下的子目录
ls-h——————显示文件大小单位

stst——————显示文件或文件系统的详细信息
cat——————查看文件内容
cat-n——————查看文件并显示行号
cat-A——————相当于-vET选项的整合，用于列出所有隐藏符号
more或less——————查看内容较多的文件
head或tail——————查看文件的前十行或后十行

mkdir——————创建空白目录
mkdir-p——————连续创建空白目录
touch——————创建空白文件

rm——————删除空白文件
rm-r——————删除空白目录
rm-rf——————强制删除目录或文件

cp——————复制文件
cp-r——————复制目录

mv——————重命名或移动文件与目录

ln——————创建硬链接
ln-s——————创建软链接

passwd——————为用户加密码
/etc/passwd——————查看权限相关信息
/etc/shadow——————查看密码相关信息

useradd——————创建用户
/home——————查看以创建用户
useradd-d——————创建用户并指定家目录
usermod——————修改用户信息
userdel-r——————删除用户

groupadd——————添加用户组
/etc/group——————查看用户组
groupmod——————修改用户组
groupdel——————删除用户组

useradd -G 某用户组参数 -g 某用户组参数 新用户
创建一个新用户并设置其私有组和附属组为某个用户组

chmod——————修改权限
umask——————更改或查看预设值

mount——————挂载光驱
/dev/cdrom——————光驱位置
/etc/yum.repos.d——————yum源文件
yum search——————查看指定安装包
yum list——————列出软件包
yum clean all——————清除所有仓库缓存
yum install——————安装软件包

vi或vim——————文本编辑器
a-i-o——————进入编辑模式
Esc——————退出编辑模式
：——————进入命令模式
：set nu——————显示行号
：wq——————保存并提出文本编辑器
：wq！———————强制保存并退出文本编辑器
：q！——————不保存并强制退出文本编辑器
dd——————删除当前行并补位
D——————删除当前行但不补位
$——————移动当前行行尾
^——————移动当前行行首
G——————移动最后行行首
gg——————移动第一行行首
ngg——————移动到第n行
u——————恢复上一次执行过的操作

grep或egrep——————正则表达式
grep-v——————取反
''——————正则表达式使用规范
.——————匹配单个任意字符
[]——————匹配[]里任意一个字符
[^]——————匹配[]里以外的字符
*——————匹配零个或多个前面的字符
.*——————匹配零个或多个前面的字符，空行也包含在内
\{n\}——————重复n次前面字符
\{n,\}——————至少重复n次前面字符
^——————行的开始
$——————行的结束
^$——————空行
\——————引用特殊字符
匹配ip："^(([0-9]\.)|([1-9][0-9]\.)|([1[0-9][0-9]\.)|(2[0-4][0-9]\.)|(25[0-5]\.)）{3}(([0-9]\.)|([1-9][0-9]\.)|([1[0-9][0-9]\.)|(2[0-4][0-9]\.)|(25[0-5]\.))$"

chattr+i——————完全隐藏
chattr+a——————部分隐藏
lsattr——————查看隐藏权限
whoami——————查看当前用户

settacl-Rm u：——————设置访问控制权限
exit——————退出
echo——————输出信息

sed——————查找替换输出
sed-n——————输出处理的行
sed  ' 'p——————打印
sed-n  ' 'p——————输出处理的行并打印
sed-e——————参数实现多个行为
sed   ' 'd——————删除某行或者多行
sed   's///g '——————替换（分隔符亦可用@、#）
sed 's/^$/&/'——————增添

awk '{print $0}'——————打印整行
awk '//'——————查找包含空的行
awk -F ':' '$==""'——————某段等于空

Shell基础编程
1、/etc/shells————查看当前支持的Shell
     系统默认Bourne Again Shell（/bin/bash）
2、sh或./————执行脚本
     sh-x————查看脚本执行过程
3、位置参数变量
     $n————$1-$9代表第1到第9个参数
     $*————把所有参数看成一个整体，输出
     $@————把所有参数逐个输出
     $#————参数的总个数
     $?————最后一次执行命令的返回状态，成功为0，不成功非0
4、Shell与用户交互
     read————接收键盘输入
     read-p————接收键盘输入时并输出提示信息
     read-t————等待接收键盘输入时间
     read-n————限制接收键盘输入字符的个数
     read-s————隐藏接收键盘输入的字符
5、加法运算
     第一种类型：sum=$(($参数1+$参数2))
     第二种类型：sum=$[参数1 + 参数2]
6、echo-e可支持的控制字符
     “//”————输出/
     “/n”————换行
     “/a”————输出提示音（进入/etc/inputre把第一行注释可关闭提示音）
     “/t”————输出制表符，既空格
     “\e[1.数字m 字符 \e[0m”————把字符变色输出，颜色由数字决定
7、declare声明变量类型
     declare-i————整数型
     declare-x————环境变量
     declare-p————查看所有变量被声明的类型
8、变量的测试
     变量置换方式：x=${y-新值}
     变量y没有设置值：x=新值
     变量y为空值：x=空值
     变量y已经设置值：x=$y
9、Shell的特殊符号
     '   '————单引号里的特殊符号无特殊意义
     "   "————双引号里除了“$、`、、”以外，其他特殊符号无特殊意义
     #————#开头代表注释
     $()或``————引用系统命令后进行赋值
     $————调用变量值
     \————转义符，跟在\之后的特殊符号无特殊意义
10、bash多命令顺序执行符
     命令1 ; 命令2————逐个执行命令，无逻辑关系
     命令1 && 命令2————逻辑与，命令1执行时，命令2才会执行
     命令1 || 命令2————逻辑或，命令1不执行时，命令2才会执行
     命令1 && 命令2 || 命令3————命令1执行时，命令2才会执行，但命令3不执行（命令1不执行时，命令2也不执行，但命令3执行）
11、条件判断：使用test+选项+文件，或者[选项+文件]来执行
     -e————判断该文件是否存在
     -f————判断该文件是否存在，且为普通文件
     -d————判断该文件是否存在，且为普通目录
     -s————判断该文件是否存在，且文件内有内容
     -L————判断该文件是否存在，且为软连接
     -r————判断该文件是否存在，且拥有读权限
     -w————判断该文件是否存在，且拥有写权限
     -x————判断该文件是否存在，且拥有执行权限
     -u————判断该文件是否存在，且拥有SUID权限
     -g————判断该文件是否存在，且拥有SGID权限
     -k————判断该文件是否存在，且拥有是SBit权限
     -z————判断字符串是否为空
     -n————判断字符串是否非空
     !————在[]内，代表逻辑字符“非”
     -a————在[]内，代表逻辑字符“与”
     -o————在[]内，代表逻辑字符“或”
12、[]内的，比较字符
     f1 -nt f2————f1比f2修改时间新
     f1 -ot f2————f1比f2修改时间旧
     f1 -rt f2————f1与f2是否是同一个文件
     整数1 -eq 整数2————相等
     整数1 -ne 整数2————不相等
     整数1 -gt 整数2————判断1大于2
     整数1 -lt 整数2————判断1小于2
     整数1 -ge 整数2————判断1是否大于等于2
     整数1 -le 整数2————判断1是否小于等于2
     字符串1 == 字符串2或（字符串1 = 字符串2）————相等
     字符串1 != 字符串2————不相等
13、流程控制语句
     if条件判断语句
     if————如果
     then————那么
     else————否则
     fi————退出
14、更改IP
进入：vi /etc/sysconfig/network-scripts/ifcfg-ens33
替换（DHCP-static)
IPADDR=192.168.201.128
GATEWAY=192.168.201.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
网络重启service network restart
15、捆绑IP与主机名
捆绑：hostnamectl set-hostname hadoop
刷新：bash
修改：vi /etc/hosts
更改：主机名
16、防火墙
查看：systemctl status firewalld
关闭：systemctl stop firewalld
永久关闭：systemctl disable