- 博客(4)
- 收藏
- 关注
RSS订阅转载 HIVE-Hive数据导出的几种方式
在hive的日常使用中，经常需要将hive表中的数据导出来，虽然hive提供了多种导出方式，但是面对不同的数据量、不同的需求，如果随意就使用某种导出方式，可能会导致导出时间过长，导出的结果不满足需求，甚至造成集群资源不必要的浪费。因此本文主要对hive支持的几种导出方式的使用进行整理，并给出每种导出方式的使用场景，便于指导操作者能够选取最佳的导出方式。 博客园转载 以上共整理了6种hive数据导出的方式，每种导出方式都有各自的应用场景，在选择导出方式时，首先应该考虑导出数据的存储位置，主要包括：本地、
2022-03-01 17:21:20
754
原创 Linux-sed命令使用
Sed使用经验 参考前辈的笔记sed 使用方法 #sed替换，-i 将替换的内容写到xxx文件 sed -i “s/被替换的字符/被替换后的字符/g” xxx（需要替换内容的文件） #在某个特点行后插入内容 sed -i ‘/特定字符串/a 新行字符串’ file sed -i ‘/特定字符串/a 新行字符串’ xxx（需要插入内容的文件） #字符串截取。 摘抄笔记 bogon:~ mac$ net=12356789 #从索引0截取3个长度 bogon:~ mac$ echo ${net:
2022-03-01 11:05:34
111
原创 Linux-Shell脚本并发及并发数的控制
需求：100个shell脚本任务，同时不超过20个并发执行，通过shell脚本实现。 使用linux管道文件特性制作队列，控制线程数目 知识储备： 一.管道文件 1:无名管道（ps aux | grep nginx） 2:有名管道（mkfifo /tmp/fd1） 有名管道特性： 1.cat /tmp/fd1(如果管道内容为空，则阻塞) 实验： 2.echo “test” > /tmp/fd1(如果没有读管道的操作，则阻塞) 二.文件描述符 1.管道具有存一个读一个，读完一个就少一个，没有则阻塞，放
2022-02-28 16:38:17
1753
原创 hive表导入数据：FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hive程序报FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask欢迎使用Markdown编辑器 欢迎使用Markdown编辑器 在进行拉链表练习的时候，练习代码如下： 数据 2019-08-21订单数据表(order) 1,2019-08-18,2019-08-18,创建 ...
2019-09-07 14:05:43
866
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人