2015年12月_lw305080

接收的数据量目前有10倍增长，行为数据每天已有6000w数据量，后续肯定还会有10倍的增长。 1数据的接收、接收数据决定就用kafka(高的数据吞吐量，还可以作为短期的缓存，可作为数据核查和补数据用)。 2数据清洗、mr直接从kafka从获取数据进行清洗（去重，过滤，编码），生成宽表文件放到hdfs上，（这一步千万不要做拆表，不然后续需要join就会很耗时，此处是空间换时间）。 3hbase

2015-12-11 10:45:11 368

转载 NTP服务及时间同步

NTP服务及时间同步

2015-12-08 12:44:08 595

转载离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

转载地址：http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生

2015-12-07 20:05:39 652

中国城市商圈 gps 信息

中国主要城市商圈 gps 相关信息，主要用于学习测试，请不要用于商业，谋利等，负责后果自负。

2018-08-02

java 多线程 socket

Java，socket多线程编程，及socket输入输出单独提出思想。

2015-12-13

socket多线程代码

Java，socket多线程编程，及socket输入输出单独提出思想。

2015-12-13

C++_string详解

C++中的string的各种函数的介绍，及这些函数的使用说明

2011-04-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人