细细品味-hdfs
关注
分享
扫一扫
文章平均质量分 78
sungang1120
这个作者很懒，什么都没留下…
展开
-
使用flume日志采集直接将采集数据导入hive
今天给大家分享下 使用flume采集日志，直接将日志导入对应的hive表中，然后使用hive进行日志分析 下面就以apache access log为例 具体使用hive的外部表还是普通的表，个人决定哈 我这里就以普通表来讲解，首先我们创建一个hive表(注：此表我是从hive官网上直接拷贝修改了下表名,哈哈) 1，首先进入hive 命令行模式我创建了一...原创 2015-12-08 13:34:24 · 3318 阅读 · 0 评论 -
合并HDFS和本地文件系统中的小文件
众所周知，HDFS中过多的小文件，会给NameNode造成很大的压力，所谓的小文件，是指远远小于文件块大小的文件。在使用HDFS的过程中，应尽量避免生成过多的小文件。 本文以TextFile为例，介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中，对小文件的合并方法将本地的小文件合并，上传到HDFS假设存放...原创 2015-12-09 13:24:50 · 1366 阅读 · 0 评论