GCH6969的博客

1.Channle常用Channel 配置Memory Channelchannel 是在 Agent 上暂存 Event 的缓冲池。 Event由source添加，由sink消费后删除。配置范例：a1.channels = c1a1.channels.c1.type = memorya1.channels.c1.capacity = 10000a1.channels.c1.transactionCapacity = 10000a1.channels.c1.byteCapacityBuf

1.Sink常用的Sink类型HDFS Sink这个Sink将Event写入Hadoop分布式文件系统（也就是HDFS）。 目前支持创建文本和序列文件。 它支持两种文件类型的压缩。 可以根据写入的时间、文件大小或Event数量定期滚动文件（关闭当前文件并创建新文件）。 它还可以根据Event自带的时间戳或系统时间等属性对数据进行分区。 存储文件的HDFS目录路径可以使用格式转义符，会由HDFS Sink进行动态地替换，以生成用于存储Event的目录或文件名。 使用此Sink需要安装hadoop， 以便

1.SourceSource 的类型常用source类型Avro SourceAvro Source监听Avro端口，接收从外部Avro客户端发送来的数据流。如果与上一层Agent的 Avro Sink 配合使用就组成了一个分层的拓扑结构。样例a1.sources = r1a1.channels = c1a1.sources.r1.type = avroa1.sources.r1.channels = c1a1.sources.r1.bind = 0.0.0.0a1.sources.

Kylin适配欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示

Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.TableNotFoundException: hbase_emp_table此处异常是hbase和hive集成是 创建内部关联表，如果先删除hba

干货在java中实例变量属于类的实例，而类变量属于这个类本身，在同一个JVM内，每个类只对应一个Class对象，单每个类可以创建多个java对象。 由于同一个JVM内每个类只对应一个Class对象，因此同一个JVM内的一个类的类变量只需要一块内存空间：而对于实例变量而言该类每创建一次实例，就要卫诗理变狼分配一块空间，也就是说，程序中有几个实例就需要几块内存空间。 在每一个程序中可以在三个地

Hbase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。1.HMaster监控RegoinServer 处理 RegoinServer的故障转移 处理元数据的变更 处理regoin的分配或者移除 在空闲时间进行负载均衡 通过zookeeper发布自己的位置给客户端RegoinSer

消息队列的应用场景目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。1.解耦场景说明：用户下单后，订单系统需要通知库存系统。传统的做法是，订单系统调用库存系统的接口。 缺点：假如库存系统无法访问，则订单减库存将失败，从而导致订单失败。订单系统与库存系统耦合 使用消息队列： 订单系统：用户

在流式计算中。Kafka一般用来缓存数据，storm通过消费kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn公司开发，并于 2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的

数组，变量和对象之间的关系1.java的数组变量只是引用类型的变量，他并不是对象的本身，只要让数组变量只想有效的数组对象，程序即可使用该变量。 2.在java中数组对象需要初始化，但是数组变量并不需要初始化，个人认为变量有点类似于装水的瓶子，瓶子可以存储水，而变量用于存储值，对于java来说怎么样的瓶子能装怎么样的水，指定类型的变量只能装指定类型的水。 3.栈和堆，对于线程来说有很大不同，因为堆

Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率，I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。Flume监控之GangliaGanglia的安装与部署1)

案例一：监控端口数据目标：Flume监控一端Console，另一端Console发送消息，使被监控端实时显示。1.安装telnet工具 rpm -ivh xinetd-2.3.14-40.el6.x86_64.rpm rpm -ivh telnet-0.17-48.el6.x86_64.rpm rpm -ivh telnet-server-0.17-48.el6.x86_64.rpm 2.创

Flume简介1.Flume提供一种分布式的，可靠地，对大量数据的日志进行高效处理，聚集，移动的服务。flume只能在Unix的环境下运行。 2.Flume基于流式框架，容错性强，也灵活简单。 3.Flume，Kafka用来进行数据收集的，Spart，Storm用来实时处理数据，impala用来实时查询。Flume角色1.Source 用于采集数据，Source是产生数据流的地方，同时

硬盘硬盘，都是由盘片、磁头、盘片主轴、控制电机、磁头控制器、数据转换器、接口、缓存等几个部份组成。 所有的盘片都固定在一个旋转轴上，这个轴即盘片主轴。而所有盘片之间是绝对平行的，在每个盘片的存储面上都有一个磁头，磁头与盘片之间的距离比头发 丝的直径还小。所有的磁头连在一个磁头控制器上，由磁头控制器负责各个磁头的运动。磁头可沿盘片的半径方向动作，（实际是斜切向运动），每个磁头同一时刻也必须是同轴的，即

Hive安装环境准备1.Hive安装地址：1）Hive官网地址： http://hive.apache.org/ 2）文档查看地址： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3）下载地址： http://archive.apache.org/dist/hive/ 4）github地址： https:

Hive和数据库比较由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language)，因此很容易将 Hive 理解为数据库。其实从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中，但是Hive 是为数据仓库而设计的，清楚这一点，有助于从应用角度理解 Hive 的特

Sqoop是什么Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。 最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。Sqoop是用来做什么的将导

很多HDFS命令跟Linux都差不多，从中可以找到很多规律（1）-help :输出这个命令参数 bin/hdfs dfs -help rm （2）-ls： 显示目录信息 hadoop fs -ls / （3）-mkdir ：在HDFS上创建目录 hadoop fs -mkdir -p /user/admin/test 创建多层目录 （4）-moveFromLocal从本地剪切

SQL like ？一般情况下的模糊查询都是：select * from xxxtable where xxxname like %**%； 本文介绍了SQL like子句的另一种实现方法(速度比like快)，以下这两个sql的使用都会比 like快一些 select * from table where patindex(‘%xx%’,a)>0 select * from table