2016年06月_继续微笑lsj

转载 scribe 日志搜集

1.General description我们知道，使用日志系统是为了使系统变得更健壮，能够应对各种错误并能从错误中较快地恢复。一个大型的分布式系统生成的日志数量是巨大的，所以需要一个有效的工具对其进行管理。Scribe就是这样一个日志收集服务器，使用它可以对大型的系统进行监控。它是Facebook的一个开源组件，使用的是Facebook另一个框架—Thrift。Thrift在我的理解就是一

2016-06-29 22:26:18 1472

转载 daemontools

最近用到了daemontools，却发现百度上基本上没有中文版的，特此分享出来给大家，作者的英语水平也不太好，翻译不对的地方请指正。1. 简单介绍一下daemontools 点击查看英文原文daemontools是一个守护进程工具，用来监视一个进程以免其意外退出，例如用来监视某个目录中的一个java程序入口，让它一直处于运行状态。被daemontools守护的进程是无法使用kill指令杀

2016-06-29 16:26:30 887

转载 Snowflake算法核心

把时间戳，工作机器id，序列号组合在一起。除了最高位bit标记为不可用以外，其余三组bit占位均可浮动，看具体的业务需求而定。默认情况下41bit的时间戳可以支持该算法使用到2082年，10bit的工作机器id可以支持1023台机器，序列号支持1毫秒产生4095个自增序列id。下文会具体分析。Snowflake – 时间戳这里时间戳的细度

2016-06-29 11:33:25 1575

转载 java filechannel

Java NIO中的FileChannel是一个连接到文件的通道。可以通过文件通道读写文件。FileChannel无法设置为非阻塞模式，它总是运行在阻塞模式下。打开FileChannel在使用FileChannel之前，必须先打开它。但是，我们无法直接打开一个FileChannel，需要通过使用一个InputStream、OutputStream或RandomAcc

2016-06-28 22:47:36 440

Buffer 类是 java.nio 的构造基础。一个 Buffer 对象是固定数量的数据的容器，其作用是一个存储器，或者分段运输区，在这里，数据可被存储并在之后用于检索。缓冲区可以被写满或释放。对于每个非布尔原始数据类型都有一个缓冲区类，即 Buffer 的子类有：ByteBuffer、CharBuffer、DoubleBuffer、FloatBuffer、IntBuffer、LongBuffe

2016-06-28 22:41:41 622

转载 linux inode理解

一、inode是什么？理解inode，要从文件储存说起。文件储存在硬盘上，硬盘的最小存储单位叫做"扇区"（Sector）。每个扇区储存512字节（相当于0.5KB）。操作系统读取硬盘的时候，不会一个个扇区地读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个"块"（block）。这种由多个扇区组成的"块"，是文件存取的最小单位。"块"的大小，最常见的是

2016-06-27 22:33:08 447

转载 mysql单表体积和一个库设计多少张表为妥

他不清楚mysql一个库里面分多少张表合适，他一个库分了8000张表。于是我看了，忍不住作答。于是以个人随笔的形式给自己做知识备忘吧。 1、单表体积多大的时候需要分表曾经看过一个博客，分析到什么情况下需要分表。单表形式访问(也就是对这个表的访问不涉及到join联合查询)：单个表的体积大于2g的时候。或者说，单个表的行数达到一千万的时候。

2016-06-27 22:16:34 1031

转载 GZIP、LZO、Zippy/Snappy常用压缩算法

网址: http://www.cnblogs.com/panfeng412/archive/2012/12/24/applications-scenario-summary-of-compression-algorithms.htmlGZIP、LZO、Zippy/Snappy是常用的几种压缩算法，各自有其特点，因此适用的应用场景也不尽相同。这里结合相关工程实践的情况，做一次小结。压

2016-06-25 07:53:32 1430

转载 Preconditions优雅的检验参数

在日常开发中，我们经常会对方法的输入参数做一些数据格式上的验证，以便保证方法能够按照正常流程执行下去。对于可预知的一些数据上的错误，我们一定要做事前检测和判断，来避免程序流程出错，而不是完全通过错误处理来保证流程正确执行，毕竟错误处理是比较消耗资源的方式。在平常情况下我们对参数的判断都需要自己来逐个写方法判断，代码量不少并且复用性不高，如下所示：import org.junit.Tes

2016-06-24 21:57:50 703

转载 hive 时间函数

语法: from_unixtime(bigintunixtime[, string format])返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例： hive>selectfrom_unixtime(1323308

2016-06-22 17:12:11 998

转载分布式日志收集收集系统：Flume

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 Flume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合

2016-06-14 13:17:55 4811

转载 hive order by，sort by，distributed by

order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set hive.mapred.mode=strict; order b

2016-06-13 18:16:04 1199 1

转载 hive regexp_extract

函数描述:regexp_extract(str, regexp[, idx]) - extracts a group that matches regexp字符串正则表达式解析函数。-- 这个函数有点类似于 substring(str from 'regexp') ..参数解释:其中：str是被解析的字符串regexp 是正则表达式

2016-06-13 11:48:54 1583

转载拉链表设计

在企业中，由于有些流水表每日有几千万条记录，数据仓库保存5年数据的话很容易不堪重负，因此可以使用拉链表的算法来节省存储空间。1.采集当日全量数据存储到 ND（当日）表中。 2.可从历史表中取出昨日全量数据存储到 OD（上日数据）表中。3.用ND－OD为当日新增和变化的数据（即日增量数据）。两个表进行全字段比较，将结果记录到tabel_I表中4.用OD－ND为状态到

2016-06-06 22:04:03 554

转载拉链表

在数据仓库的数据模型设计过程中，经常会遇到这样的需求：1. 数据量比较大;2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等;3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态，比如，查看某一个用户在过去某一段时间内，更新过几次等等;4. 变化的比例和频率不是很大，比如，总共有1000万

2016-06-06 21:59:44 1580

转载 java calender坑

5月31日的时候，很多Java的test case都莫名其妙的fail了。报的错误大意是“结束时间格式不对”。通过debug发现实际发送的结束时间为6月31日，当然不对了，6月哪儿来的31日呢。结束时间是通过获取当前，然后+2个月作为结束时间。设置时间是通过java.util.Calendar类来实现的。用Calendar.getInstance(TimeZone.getTimeZ

2016-06-01 20:12:04 559

继续微笑lsj