- 博客(4)
- 资源 (6)
- 收藏
- 关注
原创 非你所想Scala@我不是你想的那样的匿名函数
Scala 非常重视代码的简明扼要,形如arg => expr的匿名函数, 可以很明显的体现函数的结构体,也可以用在一些含有多条语句的复杂函数上。 对于自解释参数名的函数,我们更优雅的选择是使用占位符,以避免对参数进行声明,例如List(1, 2).map { i => i + 1 }可以简化成 :List(1, 2).map { _ + 1 } 这两个表达式是等价的,在REPL里执行的结果
2017-02-06 12:01:19 418
原创 实时数据流式分析改变商业游戏规则
近些年,大数据流式处理的讨论热了起来,就在去年,阿里巴巴想apache基金会贡献了java语言版的Jstorm,那么?为什么现在企业会越来越关注大数据的流式处理呢?仅仅对大容量的离线数据分析挖掘,已经逐渐满足不了企业不断增长的需求,新的技术和理论必将应运而生。 大容量的数据必须能够被极快速的处理,从而让企业的决策者能够迅速的根据市场变化而改变战略,这将成为未来商业,在满足客户差异化需求上的阿喀琉斯
2017-01-27 15:42:24 1539
原创 Spark中RDD的设计思想
Spark 设计思想,spark想通过一种新的作业和数据的容错方式,达到减少磁盘和网路Io的开销,为了达到这个目的,他们设计了一种新的抽象数据结构RDD(Resilient Distributed Datasets). RDD是一种只读的数据块,可以从HDFS上读取得到,也可以通过对其他的RDD进行操作而得到,只要对一个RDD进行操作,结果一个得到一个新的RDD,即使在代码中他们使用同一个变量表示
2015-10-04 19:10:59 591
原创 Hadoop eclipse plugin 在windows下的编译
Hadoop Commit 团队为了开发人员能够方便的开发MapReduce 程序提供了一个eclipse插件,但由于是源码,所以需要我们自己编译。在网上查了怎么编译,发现有些文章讲的不明白,有些编译完后根本运行不了。 环境:JDK : 1.7.0.21Hadoop : 1.2.1Ant : 1.8.4Eclipse:eclipse-jee-juno-SR2-win32
2014-01-06 11:35:08 640
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人