- 博客(5)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 如何衡量一个国家是不是真的富裕了
昨天媛媛和我说，她之前做了一些活，就是把一篇文章从几万字压缩到几千字，然后她说，信息量一点都没少呢。 我惊讶坏了，然后反复在心里默念，以后要把文章写短点，现在人们的时间可宝贵了 前言 嫂子是个很有才华的姑娘，早年也有赴日留学的经历，周天去串门，听嫂子讲了讲她以前的故事，通过她朴实略带励志的话语里，我突然发现自己以前的一个想法是错误的，之前一直以为中国其...
2016-06-20 10:48:00
388
原创 为什么说Spark SQL远远超越了MPP SQL
Apache Spark Future 吐槽Spark,其实我看了半天没看懂他在说啥。不过总体而言DataBricks公司目前很多的做法其实蛮合我的理念的。 前言 这里说的并不是性能，因为我没尝试对比过（下文会有简单的说明），而是尝试从某种更高一层次的的角度去看，为什么Spark SQL 是远远超越MPP SQL的。 Spark SQL 和 MPP ...
2016-06-18 09:16:00
700
10
原创 让Spark成为你的瑞士军刀
今天基本算是完成了一个类似spark-jobserver 的功能，当然功能还是比较简单的，不过提供了Web界面。很感慨Spark 用好了，真的是大数据的瑞士军刀 依托于Spark Streaming /Spark SQL，封装了一套通过配置和SQL就能完成批处理和流式处理的引擎，这样可以很好的完成复杂的ETL处理过程，实现了数据的流转和变...
2016-06-15 14:07:00
179
原创 由CarbonData想到了存储和计算的关系
原本不知道啥时候才有时间写，没想到在等高铁的时候就顺带写了。这篇文章谈谈我对目前存储和计算该如何结合的一些看法 交代下背景，之前花了半天时间试用了下，主要想解决ElasticSearch历史数据查询的问题，之前出现过在ES上查询一个月数据直接把一些节点跑挂了。然后我打算把历史数据单独出来，这个时候有三个选择： 将历史数据导入到Apache kylin...
2016-06-11 17:47:00
348
5
原创 天天在做大数据，你的时间都花在哪了
大数据做了这许多年，有没有问过自己，大数据中，工作量最大和技术难度最高的，分别是什么呢？ 前言 我每天都在思考，思考很重要，是一个消化和不断深入的过程。 正如下面的一句话: 我们从出生开始如果没思考过人生本身这件事情，一切按照社会的习惯前行，那人生是没有意义的。因为你连人生都没有想过。 那么延生出来，我们有没有想过大数据本身？ 大数据到底是在做什么...
2016-06-05 11:17:00
206
hibernate 关联保存 的困惑
2009-10-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人