- 博客(6)
- 收藏
- 关注
RSS订阅原创 kylin使用出现的坑(一)——java.net.UnknownHostException: XXXX;invalid IPv6 address
异常Kylin在启动之后报一下错误：java.net.UnknownHostException: 192.168.83.131:2181: invalid IPv6 address，具体如下图所示这是由于端口号2181在zk connectString里写了两遍，从而造成了master:2181:2181的情况。cd /usr/hbase/conf vi hbase-site...
2018-12-25 12:53:27
15824
原创 Kylin2.5.0安装部署及样例sample.sh
由于Kylin本身只是一个Server，所以安装部署还是比较简单的。但是不得不说Kylin对各个协作系统的版本要求还是比较高的。最新官网kylin v2.5版本的要求各个软件版本为OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+（本文用的是：CentOS 7） Hadoop: 2.7+, 3.1+（本文：2.8.5） Hive: 0.13 - 1....
2018-12-25 12:43:19
1602
1
原创 Flume+Kafka整合案例实现
一、为什么要集成Flume和Kafka我们很多人在在使用Flume和kafka时，都会问一句为什么要将Flume和Kafka集成？那首先就应该明白业务需求，一般使用Flume+Kafka架构都是希望完成实时流式的日志处理，后面再连接上Flink/Storm/Spark Streaming等流式实时处理技术，从而完成日志实时解析的目标。第一、如果Flume直接对接实时计算框架，当数据采集速...
2018-12-17 11:23:34
22347
6
原创 Flume+HDFS实战及遇到的坑
《Flume Source组件实战—Avro、Spool、Exec（详细图文）》一文中，我们介绍了集中不同的Source 组件的使用方式，Source监控取到的数据大多数都是通过LoggerSink输出Cli端界面上，并没有将这些数据真正下沉落地，那么这里LoggerSink记录INFO级别的日志，一般多数用来进行系统调试。在本文中，我们将着重介绍在生产环境中常用的sink组件：HDFS Sink...
2018-12-13 16:20:04
10478
1
原创 Flume Source组件实战—Avro、Spool、Exec（详细图文）
在Flume原理剖析和安装部署章节，我们最后提到NetCat Source的实例，实现了监听一个指定的网络端口，只要在应用程序向这个端口里面写数据，这个NetCat Source组件就能获取到信息。本章内容继续讲解Flume Source的其他几个常用组件，Avro Source、Spool Source、Exec Source，后两者是属于自动监控读取文件的source组件。因为本文只测试Sou...
2018-12-11 17:03:07
6493
原创 Flume1.8.0原理解析及安装部署
Flume是数据收集/聚合/传输的组件，也是我们生产环境中常用的日志收集传输系统，常用的一种日志实时处理架构就是Flume+Kafka+Storm/Flink+HDFS，这些实时系统的集成日后我们会提及到。一 背景简介：Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，2009年贡献给Apache并成为顶级项目。Flume支持在日志系统中定...
2018-12-10 20:47:22
815
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人