- 博客(4)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 非你所想Scala@我不是你想的那样的匿名函数
Scala 非常重视代码的简明扼要，形如arg => expr的匿名函数, 可以很明显的体现函数的结构体，也可以用在一些含有多条语句的复杂函数上。 对于自解释参数名的函数，我们更优雅的选择是使用占位符，以避免对参数进行声明，例如List(1, 2).map { i => i + 1 }可以简化成 :List(1, 2).map { _ + 1 } 这两个表达式是等价的，在REPL里执行的结果
2017-02-06 12:01:19
413
原创 实时数据流式分析改变商业游戏规则
近些年，大数据流式处理的讨论热了起来，就在去年，阿里巴巴想apache基金会贡献了java语言版的Jstorm，那么？为什么现在企业会越来越关注大数据的流式处理呢？仅仅对大容量的离线数据分析挖掘，已经逐渐满足不了企业不断增长的需求，新的技术和理论必将应运而生。 大容量的数据必须能够被极快速的处理，从而让企业的决策者能够迅速的根据市场变化而改变战略，这将成为未来商业，在满足客户差异化需求上的阿喀琉斯
2017-01-27 15:42:24
1529
原创 Spark中RDD的设计思想
Spark 设计思想，spark想通过一种新的作业和数据的容错方式，达到减少磁盘和网路Io的开销，为了达到这个目的，他们设计了一种新的抽象数据结构RDD（Resilient Distributed Datasets）. RDD是一种只读的数据块，可以从HDFS上读取得到，也可以通过对其他的RDD进行操作而得到，只要对一个RDD进行操作，结果一个得到一个新的RDD，即使在代码中他们使用同一个变量表示
2015-10-04 19:10:59
582
原创 Hadoop eclipse plugin 在windows下的编译
Hadoop Commit 团队为了开发人员能够方便的开发MapReduce 程序提供了一个eclipse插件，但由于是源码，所以需要我们自己编译。在网上查了怎么编译，发现有些文章讲的不明白，有些编译完后根本运行不了。 环境：JDK : 1.7.0.21Hadoop : 1.2.1Ant : 1.8.4Eclipse：eclipse-jee-juno-SR2-win32
2014-01-06 11:35:08
630
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人