Linux-Hadoop常用操作(工作中)

Linux常用基本命令

top   查看内存和运行情况
iotop 查看磁盘 io
iotop -o 直接查看比较高的磁盘读写程序
ps -ef 查看进程运行情况
free -h 查看内存使用情况
du -h 查看磁盘使用情况
tar tail -nf
netstat -apn | grep 端口号 查看端口号
rpm
wc -l -k 统计行数 统计单词数

awk 用于列的切割
sed 查找替换
sort 排序
cut 切割，不咋用

脚本未知进程号,通过进程名实现结束进程

ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs kill"

通过文件名查询文件

find 目录 -type f  | xargs grep -rn "要查找的字符串" >> file.txt

使用tail查看久远日志不方便，写入文件

tail -n 10000 >> /opt/test1.txt    将日志内容写入一个文件中查看就好很多

mkdir 创建目录

mkdir /xxxx

rm 删除目录或文件

 rm -rf /opt/bak/

mv 移动文件到某个目录下

cp 复制文件

cp 命令是 copy 的缩写，cp 不仅可以复制目录，也可以复制文件.

tar 命令参数解释及使用方式

tar命令的常见选项包括：

-c：创建新的归档文件。
-x：从归档文件中解包。
-t：列出归档文件中的内容。
-r：向归档文件中追加文件。
-u：只向归档文件中添加新的文件。
-z：通过gzip进行压缩。
-j：通过bzip2进行压缩。
-v：显示归档/解归档的过程。
-f：指定归档文件的名称和路径。

最常用的使用方式

将文件或目录打包成tar格式的归档文件，并通过gzip或bzip2算法进行压缩，以减小文件大小。可以使用如下命令：

压缩成tar.gz文件：

tar -czvf filename.tar.gz directory

其中，filename.tar.gz为新的归档文件名，directory为要归档的目录或文件。

tar -xzvf filename.tar.gz

其中，filename.tar.gz为要解压的归档文件名。

压缩示例：

将目录 /home/user1/mydir 压缩成文件 mydir.tar

tar -cvf mydir.tar /home/user1/mydir

将目录 /home/user1/mydir 压缩成文件 mydir.tar.gz （使用gzip压缩）

tar -czvf mydir.tar.gz /home/user1/mydir

scp 分发命令

scp -r /xxx/xx  user@worker1:~/

Hadoop常用操作

hadoop目录下注释某文件

# 在 /data 目录下查找 xxx.jar 文件，并注释掉

sudo sed -i 's/^/#/g' /data/xxx.jar

hadoop上传文件

hadoop fs -put /opt/xxx(本地) /data/xxx(hdfs文件系统)

Hadoop下载文件

hadoop fs -get /data/xxx/xxx /opt/

hadoop删除某目录文件

hdfs dfs -rm -r /data/xxx

给某文件赋予权限

chmod

hadoop fs -chmod 777 某文件，将文件filename的权限设置为所有者、组和其他用户都具有读取、写入和执行权限

hadoop fs -chmod -R 777 某目录  将文件目录的权限设置为所有者、组和其他用户都具有读取、写入和执行权限