工作当中使用的命令----笔记

最新推荐文章于 2022-01-06 15:15:24 发布

SunWuKong_Hadoop

最新推荐文章于 2022-01-06 15:15:24 发布

阅读量603

点赞数

分类专栏： linux hadoop 笔记 impala

本文链接：https://blog.csdn.net/SunWuKong_Hadoop/article/details/55505147

版权

linux 同时被 3 个专栏收录

23 篇文章 0 订阅

订阅专栏

hadoop

15 篇文章 0 订阅

订阅专栏

impala

15 篇文章 0 订阅

订阅专栏

1.hadoop fs -du -s -h [url] 查看目录下文件的总大小

结果：190.9 G 381.8 G /user/hive/warehouse/ty_mrtrace.db/mr_original_l/mr_date=2017-01-21

理解：

第一列标示该目录下总文件大小

第二列标示该目录下所有文件在集群上的总存储大小，和副本数相关，我的副本数是2 ，所以第二列的是第一列的两倍（第二列内容=文件大小*副本数）

第三列标示你查询的目录

hadoop fs -du

hadoop fs -dus 可指定某一个文件，显示其大小

hadoop fs -

2.将impala中文件整到本地系统

impala-shell -i slave02 -f mlte_s1_mmelog_f2.sql -B --output_delimiter=',' -o mlte_s1_mmelog_f2.csv >> import_log.log 2>&1 &

mlte_s1_mmelog_f2.sql里面内容：例一：select * from xdr.mlte_s1_mmelog_f2 where day='20170208' and minute='2330' limit 1000

例二：select province_id,city_id,rantype,nvl(service_type,0),phone,lac,ci,imei,nvl(traffic_style,0),starttime,endtime,duration,up_traffic,down_traffic,sum_traffic,nvl(net_type,0),client_ip,dest_ip,nvl(status,0),user_agent,apn,ims
i,sgsn_ip,ggsn_ip,content_type,nvl(source_port,0),nvl(dest_port,0),nvl(record_flag,0),nvl(merge_num,0),charac from unicomidmp.s_com_gn_160118 where cast (home_province_id as string)='127' and city_id='12701'

3.2017/11/1linux服务器莫名被占满了

查看所有文件，占用内存从小到大：du -h / | sort -h

查看当前文件夹文件内容，以K、M为单位显示：ls -lh

清空大文件：>cation.out