分区空间占用过多,但是文件不在(nuhup.out引起的)

查看目录关联进程信息

lsof | grep 目录名

 

通过上边查到的进程号

ps -ef | grep 进程号

 

上边的命令可以看到启动命令

 

通过history可以看到启动命令前面加了nohup,使得后台启动进程

 

解决办法,启动命令加上参数,使得输出内容转到垃圾箱

修复之前启动命令 

nohup command &

 

修复之后启动命令

nohup command >/dev/null 2>&1 &

 

解释:

 

文件描述符

标准输入(standard input) 0 从键盘获得输入 /proc/slef/fd/0

标准输出(standard output) 1 输出到屏幕(即控制台) /proc/slef/fd/1

错误输出(error output) 2 输出到屏幕(即控制台) /proc/slef/fd/2

 

输出重定向

command >filename 把标准输出重定向到新文件中

command 1>filename 同上

command >>filename 把标准输出追加到文件中

command 1>>filename 同上

command 2>filename 把标准错误重定向到新文件中

command 2>>filename 把标准错误追加到新文件中

 

command <filename 以filename文件作为标准输入

command 0<filename 同上

command <<delimiter 从标准输入中读入,直到遇到delimiter分隔符

 

1)command:表示shell命令或者为一个可执行程序

2)>:表示重定向到哪里 

3)/dev/null:表示Linux的空设备文件 

4)2:表示标准错误输出

5)&1:&表示等同于的意思,2>&1,表示2的输出重定向等同于1

6)1 表示stdout标准输出,系统默认值是1,所以">/dev/null"等同于 "1>/dev/null"

6)&:表示后台执行,即这条指令执行在后台运行

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
动态分区在Hive中会导致创建过多分区文件。动态分区是根据表的输入数据动态创建分区,而不需要提前知道所有分区。这种方式适用于有很多分区且无法提前预估新分区的情况。 [3] 在处理大量数据时,动态分区可能会导致分区文件过多的问题。这是因为每个不同的分区值都会创建一个新的分区文件。当分区值的数量非常大时,就会产生大量的分区文件,可能会对性能和存储带来负面影响。 为了解决这个问题,可以考虑以下几个方法: 1. 调整数据的分区策略:如果可能的话,可以尝试减少分区的数量,或者调整分区键的范围,使得每个分区的数据量更加均匀。 2. 压缩分区文件:可以使用压缩算法对分区文件进行压缩,减少存储空间占用。 3. 定期合并小文件:可以定期对小文件进行合并,减少文件数量,提高查询性能。 综上所述,动态分区在Hive中可能会导致分区文件过多的问题。可以通过调整分区策略、压缩分区文件或定期合并小文件来解决这个问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [什么是hive的静态分区和动态分区,它们又有什么区别呢?hive动态分区详解](https://blog.csdn.net/sinat_40572875/article/details/128062279)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* [什么是hive的静态分区和动态分区,hive动态分区详解](https://blog.csdn.net/weixin_39836604/article/details/126214513)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值