josephguan-CSDN博客

原创 Scala: 一次命令式到函数式的重构

一次“命令式”到“函数式”的重构知识点：① List的map和exists方法的运用② Stream的应用背景：需要做这么一个功能，检查一个excel文档，它需要满足一下两点要求：① 文件列的个数和列名与umtsPara配置的列个数和列名完全一致② umtsPara中设定列不能为空，则文件中对应的列也不能为空代码评审过程中，发现代码“太命令式”，没有把scala强大

2014-07-29 10:36:50 796

原创怎么把Java的数组转成Scala里的List

import scala.collection.JavaConversions._

2014-09-05 22:20:41 2767

原创 Scala创建新的控制结构

创造新的控制结构——问号表达式 “？：”Scala的英文意思是“可伸展的”。Scala之所以叫这个名，就是取意这个语言是“可伸展的语言”。他的可伸展性表现在很多方面。今天主要总结一下他在创造新的控制结构方面的能力。语言内置的控制结构有：for，if...else，while等，在Scala里，你完全可以写出自己的控制结构，让它感觉像是语言本身就支持一样。先把示例抛出来——Scala里没有

2014-08-21 16:42:43 1655

原创用Scala实现延迟计算

用Scala实现延迟计算背景上次重构用到了Stream，他的延迟计算能力很酷！于是乎查阅了一下延迟计算的原理——没想到这看似魔法一般的延迟计算，其实现原理却是是这么的简单！本文依照其原理用Scala语言实现了一下。本文只是对延迟计算原理的探讨，在Scala里它直接在语言级提供了lazy关键字，可以用来定义延迟计算，所以实际应用时用lazy就好了。知识点1. 延迟计算2.

2014-07-31 11:24:46 3050

原创自动格式化SQL工具推荐

懒汉版基于网页的自动格式化SQL：http://www.dpriver.com/pp/sqlformat.htm优点：方便缺点：有些SQL解析失败（如Hive的QL）会导致整个格式化失败推荐指数：三颗星破解版有个收费版SQL Pretty Printer，但收费的明显不是我们的风格，破解版点这里->http://www.jb51.net/softs/38037.html

2014-07-29 14:42:39 17981

原创 Spark源码分析(1) 从WordCount示例看Spark延迟计算原理

WordCount示例：val file = spark.textFile("hdfs://...")val counts = file.flatMap(line => line.split(" ")) .map(word => (word, 1)) .reduceByKey(_ + _)cou

2014-05-12 19:49:01 3939

原创 SBT学习 [持续更新...]

1. 下载SBT2. SBT设置

2014-05-04 13:46:42 5428

josephguan的专栏