- 博客(6)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 ubuntu 12.04中安装thrift-0.9.1
1、安装ant和ivy。 $ cd ~ $ wget http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.3-bin.tar.gz $ wget http://mirrors.cnnic.cn/apache//ant/ivy/2.3.0/apache-ivy-2.3.0-bin.tar.gz $ tar -xf apache-
2014-01-25 18:50:56
3230
原创 Flume-0.9.4数据插入HBase-0.96
最近由于业务需要，需要将flume的数据插入HBase-0.96,利用flume的实时日志收集，实现数据的实时存储。正如前文所述，flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置，只需要做一些相关配置，实现自己的HbaseEventSerializer类，重新编译flume-ng-hbase-sink部分源码并打包即可。但是因为公司以前业务的日志收集使用的fl
2014-01-25 18:29:40
2305
原创 Flume-ng将数据插入hbase-0.96.0
上文介绍过flume数据插入hdfs和普通目录，本文继续介绍flume-ng将数据插入hbase-0.96.0. 首先，修改node中flume文件夹下conf目录中的flume-node.conf文件（原配置参考上文），对其做如下修改： agent.sinks = k1 agent.sinks.k1.type = hbase agent.sinks.k1.table = hello age
2014-01-24 19:55:20
1728
原创 Flume-ng配置
1）简介 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： (1) 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将even
2014-01-24 18:35:58
1588
原创 YCSB测试hbase-0.96.0
1.YCSB简介 YCSB的全称是Yahoo! Cloud Serving Benchmark，这是一个用于测试cloud serving/NoSQL/Key-Value Store的benchmark。论文发表在SoCC’10，代码开源。有很多出色的工作（包括SILT@SOSP’11，HyperDex@SIGCOMM’12）使用YCSB进行测试。为了了解hbase-0.96.0的性能，因此学习
2014-01-14 15:00:12
2790
原创 方向梯度直方图-Hog算法介绍
图像梯度 介绍一下图像梯度的含义： 上图中，标量场是黑白的，黑色表示大的数值，而相应的梯度用红色箭头表示。 可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导： 图像梯度: G(x,y) = dx i + dy j; dx(i,j) = I(i+1,j) - I(i,j); dy(i,j) = I(i,j+1) - I(i,j); 其中，I是图像像素的值(
2014-01-11 18:12:18
17705
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人