flume与hdfs

---

 

 

---

log4j.rootLogger = info,D

log4j.appender.D = org.apache.log4j.DailyRollingFileAppender
log4j.appender.D.File = /rizhi/generateLoggx.log
log4j.appender.D.DatePattern='.'yyyy-MM-dd-HH-mm
log4j.appender.D.layout = org.apache.log4j.PatternLayout
log4j.appender.D.layout.ConversionPattern =%m%n

---

1、文件滚动策略
在HDFS Sink的文件滚动就是文件生成，即关闭当前文件，创建新文件。它的滚动策略由以下几个属性控制：

hdfs.rollInterval
单位：秒，基于时间间隔来进行文件滚动，默认是30，即每隔30秒滚动一个文件。0就是不使用这个策略。

hdfs.rollSize
单位：Byte，基于文件大小进行文件滚动，默认是1024，即当文件大于1024个字节时，关闭当前文件，创建新的文件。
0就是不使用这个策略。

hdfs.rollCount
基于event数量进行文件滚动。默认是10，即event个数达到10时进行文件滚动。0就是不使用这个策略。

hdfs.idleTimeout
闲置N秒后，关闭当前文件（去掉.tmp后缀）。

其次其实如果你的副本数如果不为1的话，你会发现roll的配置不生效，是因为flume检测到hdfs文件块的复制，然后强制
终结了这次的tmp临时文件，生成新的，所以就会发现，roll的参数不生效，解决方法：手动将hdfs.minBlockReplicas值设置为1，
让flume感应不到hdfs文件块的复制

---

create external table hdfsdata(
    riqi string,
    ip string,
    state int,
    type string,
    url string)
    partitioned by(
      dt string,
      hour string)
      ROW FORMAT DELIMITED
      FIELDS TERMINATED BY ' '
     LOCATION 'hdfs://machine01:9000/flume' ;

---

关联HDFS文件，hive的partitions并不会与hdfs中指定目录自动关联，需要手工操作。 通过给已经创建的表增加分区数据的方式，与HDFS上的文件相互关联起来

---

 

alter table hdfsdata add partition (dt=20201008 , hour=10) location '/flume/20201008/10';

---

select * from hdfsdata 

 查询结果：180

---

接着执行： 

alter table hdfsdata add partition (dt=20201008 , hour=11) location '/flume/20201008/11';

  查询结果：360

---

 也可以查询带上分区 

select * from hdfsdata where dt=20201008 and hour=10;

---

 

 

FR:徐海涛（hunk Xu)
QQ技术交流群：386476712