chenyudi5008-CSDN博客

Ambari2.2.1.0 + HDP2.4 + HUE环境搭建一、前言数据团队Hadoop集群目前只有线上环境，测试缺失使得有些流程上不通，例如ETL测试环境、平常依赖HDP组件的开发等等。以及后续线上集群升级测试环境可以预演。Ambari采用Apache的版本 Apache ...

2017-07-17 22:51:00 109

一、背景:使用spring xml配置管理初始化HbaseTemplate，并使用HbaseTemplate API时存在bug，每次查询都会建立connection，这样会存在并发查询的时候大量时间浪费在connection建立上。spring-data-hadoop版本为2.2...

2017-07-13 21:12:00 641

传送门转载于:https://my.oschina.net/danier/blog/1341341

2017-07-11 22:29:00 104

一、前言因Flume通过配置的方式去采集日志，所以存在不灵活的情况，但Flume日志模型中除了日志body部分，还提供header，以及一些通配符的操作让配置更加灵活。此篇文档讲介绍通用配置。二、场景配置一个通用的服务端，用于接收各个客户端agent日志...

2017-07-07 16:48:00 144

前言搭建好kafka集群之后，需要知道kafka的topic、 consumer group 等消息消费、生产数据监控。恰好在GitHub上找到了一个干这种事情的工具。 KafkaOffsetMonitor运行比较简单，因为所有运行文件，资源文件，jar文件都打包到KafkaOffsetMo...

2017-05-04 23:29:00 134

###场景HDP通过Ambari安装如果不单独更改kafka的日志路径，默认是会写入机器的系统盘，但由于系统盘的磁盘空间有限，需要切换。###kafka存储日志清除有两种方式，一种是按时间清除通过配置 log.retention.hours，默认是7天；一种是按照消息大小清除通过配置 ...

2017-05-04 22:59:00 755

shell脚本接受时间范围段参数，例如2017-05-01 ~ 2017-05-05，输出 2017-05-01、2017-05-02、2017-05-03、2017-05-04、2017-05-05所有天数。 start=`date --date="$1" +%s` ...

2017-05-04 11:07:00 730

使用mvn强大的依赖树关系命令，找出冲突的jar所对应的包mvn dependency:tree -Dverbose (此命令可以打印全部的依赖)。有的时候项目依赖太多，想过滤自己想要的或者不想要的可以通过以下命令： mvn dependency:tree -Dverbose ...

2017-05-04 10:52:00 82

source类图关系举例 (eg:ExecSource)关系图中的Stable Public 分别为InterfaceAudience InterfaceStability的注解类型。InterfaceAudience 类包含有三个注解类型，用来说明被他们注解的类型的潜在使用范...

2017-05-03 22:31:00 104

chenyudi5008的博客