- 博客(29)
- 收藏
- 关注
RSS订阅原创 flume学习
flume的核心是把数据从数据源(source)收集过来，在将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)后，flume在删除自己缓存的数据。在整个数据的传输的过程中，流动的是event，即事务保证是在event级别进行的。那么什么是event呢？event将传输的数据进行封装，是flume传输数据的基本单位。如果是文本文件，通常是一行记录，event也是事务的基本单位。
2023-03-15 11:12:49
252
转载 Hive高级
CTAS不能创建partition, external, bucket table。表空间位于/tmp/hive-(安全考虑)临时表是应用程序自动管理在复杂查询期间生成的中间数据的方法。表只对当前session有效，session退出后自动删除。Hive建表高阶语句 - CTAS and WITH。如果创建的临时表表名已存在，实际用的是临时表。CTAS – as select方式建表。修改表（Alter针对元数据）使用动态分区需设定属性。
2023-02-22 17:21:44
61
原创 虚拟机运用(二)
最主要掌握grep -v,grep -o,grep -cgrep -v的作用是显示不包含文本的所有信息grep -o的作用是只打印符合文本的内容,而不打印所在行的所有内容grep -c的作用是统计包含文本的行数grep -i和grep效果一样,打印与文本匹配的所在行的内容 创建.gz文件会强制替换掉源文件文件 可以同时解压几个文件-9操作是提高压缩比例(最高,等级为1-9)unzip操作可以解压缩.zip后缀文件gunzip等同于gzip -d 可以理解为压缩和解压-z调用gzip程序 注意,通过tar命令
2022-11-23 23:36:03
621
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人