chouchi1749-CSDN博客

转载通过Scala理解什么是Monad

什么是Monad?traitMonad[+T]{defflatMap[U](f:(T)=>Monad[U]):Monad[U]defunit(value:B):Monad[B]}Monads 就是一个values的容器，...

2019-09-11 17:16:31 603

转载 Benchmark性能测试工具,TestDFSIO/TeraSort

TestDFSIO //用法 hadoop jar $HADOOP_HOME/hadoop-*test*.jar TestDFSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-res...

2015-10-16 10:23:00 541

转载 Scala中Future的线程数

【博客搬迁】更好的格式显示，请访问新地址：http://josephguan.github.io/2016/06/26/thread-in-future/为什么Future最大只有4个并发线程？线程池中有多少个线程是由ExecutionContext决定的。如果使用的是默...

2015-07-22 11:03:00 560

转载 spark开启EventLog

History Server及其配置以默认配置的方式启动spark history server： cd $SPARK_HOME/sbin start-history-server.sh 启动完成之后可以通过WEBUI访问，默认端口...

2015-07-10 17:21:00 2102

转载减少partition时，用coalesce效率更高

减少partition时，用coalesce效率更高测试 repartition，shuffle 2.8G, 耗时10min39sec df.rdd.repartition(1).saveAsTextFile("/gx/gziptest"...

2015-07-09 13:49:00 222

转载 Windows上使用Git

安装msysgithttp://www.xiazaiba.com/html/25984.html 配置GitHub账号git config --global user.name "username"git config --global user.email "yourmail@gmai...

2015-02-26 16:47:00 69

转载用Scala实现延迟计算

背景上次重构用到了Stream，他的延迟计算能力很酷！于是乎查阅了一下延迟计算的原理——没想到这看似魔法一般的延迟计算，其实现原理却是是这么的简单！本文依照其原理用Scala语言实现了一下。本文只是对延迟计算原理的探讨，在Scala里它直接在语言级提供了lazy关键字，可以用来定义延迟...

2014-08-22 12:55:00 273

转载 SBT学习 [持续更新...]

1. 下载SBT 从这下载（http://www.scala-sbt.org/release/docs/Getting-Started/Setup.html#） version： 0.13.2 Windows中安装下载“msi for windows"，安装后环境变量会自动设置好 ...

2014-08-22 12:55:00 76

转载 Scala创建新的控制结构

创造新的控制结构——问号表达式 “？：” Scala的英文意思是“可伸展的”。Scala之所以叫这个名，就是取意这个语言是“可伸展的语言”。他的可伸展性表现在很多方面。今天主要总结一下他在创造新的控制结构方面的能力。语言内置的控制结构有：for，if...else，while等，在Sc...

2014-08-22 12:55:00 83

转载 Scala: 一次命令式到函数式的重构

知识点： ① List的map和exists方法的运用 ② Stream的应用背景：需要做这么一个功能，检查一个excel文档，它需要满足一下两点要求： ① 文件列的个数和列名与umtsPara配置的列个数和列名完全一致 ② umtsPara中设定列不能为空，则文件中对应的列也不能为空 ...

2014-08-22 12:55:00 81

转载自动格式化SQL工具推荐

懒汉版基于网页的自动格式化SQL：http://www.dpriver.com/pp/sqlformat.htm 优点：方便缺点：有些SQL解析失败（如Hive的QL）会导致整个格式化失败推荐指数：三颗星破解版有个收费版SQL Pretty Printer，但收费的明显不是我们...

2014-08-22 12:54:00 250

转载 Spark源码分析(1) 从WordCount示例看Spark延迟计算原理

WordCount示例： valfile = spark.textFile("hdfs://...") valcounts = file.flatMap(line => line.split(" ")) .map(word => (word,...

2014-08-22 12:54:00 56