大数据杂谈
joeywen
努力做正确的事
展开
-
Streaming Real-time Data Into HBase
Hbase 写优化转载 2016-06-03 11:35:24 · 895 阅读 · 0 评论 -
对编程的一些建议
对编程的一些建议良好的编程风格代码风格很关键,代码风格之于项目就像衣服之于人一样,不能乱,不能邋遢,给人的第一印象就要好,这样别人也会多看一会儿,良好的代码编程风格也能避免一定的bug,比如很多人养成了断言的习惯,就会在某些地方打上断言,这样就会在工程初期fast-fail,有助于工程的最终结果。 强烈不建议copy别人的代码,特别是网上的一些人开发的小功能的代码。程序猿初期,老师或者leader原创 2015-05-27 13:52:34 · 1060 阅读 · 0 评论 -
Apache MRQL——Apache又一开源孵化利器
MRQL is a query processing and optimization system for large-scale, distributed data analysis, built on top of Apache Hadoop, Hama, Spark, and Flink.原创 2015-05-25 14:47:55 · 1532 阅读 · 0 评论 -
在streaming process中为什么需要类似sql查询语言
从现有的CEP(Complex Event Processing)框架,像强大得Esper,我们学到很多工作完全可以通过写sql来完成的,不需要编写任何的代码。所以对于流处理我认为也需要这样的类似sql查询语言。目前像Storm这样的流处理平台框架强迫使用者去实现像silding window,一些query pattern的操作。我认为并不是每一个案例开发者都喜欢重写这些东西。所以我们需要high原创 2015-05-25 12:38:26 · 1249 阅读 · 0 评论 -
玩转Bits和Bytes——Apache Flink的内存管理
(英文原文,慎入)Apache Flink在自己的框架中自己实现了内存管理和序列化/反序列化框架,很好的优化了数据程序在JVM上的内存使用。原创 2015-05-25 16:06:53 · 4789 阅读 · 4 评论 -
Mesos资料收集(持续更新)
Mesos资料收集,持续更新中原创 2015-06-09 01:51:34 · 1454 阅读 · 0 评论 -
Twitter 新一代流处理利器——Heron 论文笔记之Storm Limitations
Twitter Heron 论文笔记,简单介绍论文前半部分对storm局限性,从Storm worker、Nimbus以及资源分配这些来阐述目前Storm存在的问题。原创 2015-06-03 18:01:54 · 4394 阅读 · 0 评论 -
Twitter 新一代流处理利器——Heron 论文笔记之Heron架构
本文是对Heron架构做了一下阅读笔记,讲解Heron在现有的Storm架构上做了哪些优化,这些优化能够解决Storm现在的哪些问题。原创 2015-06-05 17:46:38 · 2874 阅读 · 0 评论 -
关于分布式程序 java的内存管理浅谈
关于分布式程序 java的内存管理浅谈,转述了一些之前看到的关于java memory的一些文章片段,列了几个在java memory管理上比较优秀的框架,大家可以参考一下。原创 2015-06-02 14:40:39 · 1851 阅读 · 0 评论 -
Storm杂谈之Acker拾趣
Storm杂谈之Acker拾趣本文所讲内容并非storm的acker机制,而是讲讲开acker和不开acker的具体区别以及在storm源码中是怎样实现的原创 2015-05-28 10:12:29 · 2117 阅读 · 1 评论 -
个性化推荐的十大挑战
本文整理了个性化推荐现金面临的十大挑战,具体内容没有给出,只给出了相关的论文列表,具体的详述内容,读者可以通过链接转到原作者blog进行阅读,在此感谢原作者的贡献。原创 2015-05-31 13:50:24 · 1592 阅读 · 0 评论 -
大数据存取的选择:行存储还是列存储?
目前大数据存储有两种方案可供选择:行存储和列存储。业界对两种存储方案有很多争持,集中焦点是:谁能够更有效地处理海量数据,且兼顾安全、可靠、完整性。从目前发展情况看,关系数据库已经不适应这种巨大的存储量和计算要求,基本是淘汰出局。在已知的几种大数据处理软件中,Hadoop的HBase采用列存储,MongoDB是文档型的行存储,Lexst是二进制型的行存储。在这里,我不讨论这些软件的技术和优缺点,只围转载 2015-05-21 15:13:58 · 853 阅读 · 0 评论 -
LevelDb学习资料
LevelDb学习资料标签(空格分隔): db,k/v_db以下是leveldb的介绍资料初识LevelDb整体架构log文件SSTable文件MemTable写入与删除记录如何根据Key读取记录?CompactionlevelDb中的CachelevelDB tutorialLevelDB 网址:http://leveldb.org/ 基于levelDB做优化的RocksD原创 2015-05-27 17:50:53 · 1196 阅读 · 0 评论