2017年02月_Lnho

原创 Flume 1.7 源码分析（三）程序入口

Flume 1.7 源码分析（一）源码编译 Flume 1.7 源码分析（二）整体架构 Flume 1.7 源码分析（三）程序入口 4 程序入口启动Flume的过程可以简单分为2个步骤： 1. 获取相关配置文件（一般来说就是flume-conf.properties）。 2. 启动各组件。不特别说明，本文中的组件是指实现了LifecycleAware接口的类的对象，一般就是

2017-02-27 13:20:03 4213 5

原创 Flume 1.7 源码分析（二）整体架构

Flume 1.7 源码分析（一）源码编译 Flume 1.7 源码分析（二）整体架构 3 整体架构Flume有三大组件：Source、Channel、Sink。Source就是数据来源，例如Web Server产生日志后，可使用ExecSource执行tail -F命令后不断监听日志文件新生成的数据，然后传给Channel。Channel就是一个缓存队列，由于读取数据和写入数据的速

2017-02-27 13:07:56 4160 4

1 说明Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，目前已经是Apache的一个子项目。Flume是一个专用工具被设计为旨在往HDFS、HBase发送数据。它对HDFS有特殊的优化，并且集成了Hadoop的安全特性。本文将详细分析Flume核心模块的源码实现。2 下载、编译2.1 源码检出Flume源码的git地址是：https://git-w

2017-02-26 16:11:45 4795 6

原创 Leet Code OJ 3. Longest Substring Without Repeating Characters

题目Given a string, find the length of the longest substring without repeating characters.Examples:Given “abcabcbb”, the answer is “abc”, which the length is 3.Given “bbbbb”, the answer is “b”, with the

2017-02-14 14:16:01 1461

原创 Leet Code OJ 4. Median of Two Sorted Arrays [Difficulty: Hard]

题目There are two sorted arrays nums1 and nums2 of size m and n respectively.Find the median of the two sorted arrays. The overall run time complexity should be O(log (m+n)).Example 1:nums1 = [1, 3]nums

2017-02-10 07:36:39 831

原创 Leet Code OJ 388. Longest Absolute File Path [Difficulty: Medium]

题目Suppose we abstract our file system by a string in the following manner:The string “dir\n\tsubdir1\n\tsubdir2\n\t\tfile.ext” represents:dir subdir1 subdir2 file.ext The dir

2017-02-06 13:16:33 932 1

原创 Flume 1.6 遇Emoji表情发生截断丢失数据问题分析

问题描述最近有一段时间，跑ETL的时候，发现出来的数据明显比之前少，少了大约一半左右，就开始排查。我们的数据是从Flume采集过来的，排查日志发现，flume在读取到某一条的时候，就不再往下读取了。问题分析进一步拿到原始文件后，找到那条数据。用vim打开发现其中有个地方有两个空格。起初以为是乱码（之前flume出过乱码中断的问题），贴到ide里面，得到具体编码，发现是四字节的utf-8编码。贴到

2017-02-04 07:19:22 2155 6

原创 Leet Code OJ 482. License Key Formatting [Difficulty: Medium]

给定一个非空字符串S，代表一个软件授权秘钥，我们需要格式化这个秘钥。这个字符串由字母、数字(a-z and/or A-Z and/or 0-9)和中划线(-)组成。中划线把字符串S分为几个组（例如有M个中划线，那会被分为M+1个组）。现在，中划线放置的位置可能被放错了。我们希望每个组的字符长度为整数K（除了第一个组，允许少于K，但是至少要有一个字符）。为了满足这个需求，我们需要重新放置中划线。另外，还需要把所有小写

2017-02-04 06:28:32 1919

Lnho的专栏