一些常用的linux命令

文件字符批量替换

sed -i ‘s/查找字段/替换字段/g’ configurations.xml

搜索文件并且字符串批量替换

find ./ -name ‘*.xml’ | xargs perl -pi -e ‘s|被替换的字符|替换的字符|g’

全文搜索

find ./ -name ‘*.xml’ | xargs grep ‘搜索字符’

根据创建时间删除文件

find /home/file/ -ctime +10 -name “*.txt” -delete 删除10天之前以.txt结尾的数据

文件夹大小

du -h /home/data/programs/ --max-depth=1

根据文件大小排序

du -s * | sort -nr | head

检测端口

telnet ip port
端口占用情况 lsof -i:port
进程各个端口的网络连接 netstat -apn | grep pid

VIM

上下翻页： ctrl+B , ctrl+d
文件头部：gg
文件尾部：G

SCP拷贝

scp -r root@0.0.0.0:/home/spark.tar.gz ./

三方包打包

mvn deploy:deploy-file -DgroupId=com.mrs -DartifactId=adapter-hadoop-wrapper-file-system -Dversion=1.0.0-MRS_1.9-SNAPSHOT -DgeneratePom=true -Dpackaging=jar -DrepositoryId=thirdparty -Durl=http://**/nexus/content/repositories/thirdparty/ -Dfile=adapter-hadoop-wrapper-file-system-1.0.0-MRS_1.9-SNAPSHOT.jar

添加用户到用户组

sudo sh -c “su -”
usermod -G [用户组] [用户]
chown -R data /home/data/

环境变量

vim /etc/bashrc
vim .bash.profile

jar包

查看jar包结构 vim **.jar
解压 jar -xvf **.jar

yum 安装第三方rpm包

yum clean all
yum install/reinstall

hadoop

查看文件前几行 hadoop fs -text hdfs://** | head -n 100
模糊匹配 hadoop fs -ls -d hdfs://abc*

hive

用户授权 grant select on table to user ** with grant option;