2016年07月_冥想者-定

转载 Scala开发教程(50): Ordered Trait

http://www.imobilebbs.com/wordpress/archives/4954比较对象也是胖接口来的比较方便的一个应用领域，当你需要比较两个有顺序关系的对象时，如果只需要一个方法就可以知道需要比较的结果就非常便利。比如，你需要“小于”关系，你希望使用“< “比较就可以了，如果是“小于等于”，使用”<=”就可以。如果使用瘦接口来定义类，也许你只定义了一个<比较方法，那

2016-07-31 10:05:48 478

转载 Java关键字final、static使用总结 [GOOD]

http://lavasoft.blog.51cto.com/62575/18771/Java关键字final、static使用总结一、final 根据程序上下文环境，Java关键字final有“这是无法改变的”或者“终态的”含义，它可以修饰非抽象类、非抽象类成员方法和变量。你可能出于两种理解而需要阻止改变：设计或效率。 fin

2016-07-28 20:22:44 367

转载 case class 跟普通class有什么区别

case class 跟普通class有什么区别1、初始化的时候，不需要new，当然你也可以加上，普通类一定需要加上new2、toString的实现更加漂亮3、默认实现了equals hashcode4、默认是可以序列化的，也就是实现了Serializable5、自动从scala.Producet中继承了一些函数6、case class构造函数的参数是publi

2016-07-28 17:25:44 3987

转载 Apache Spark DataFrames入门指南：操作DataFrame

Apache Spark DataFrames入门指南：操作DataFrame转：http://www.iteblog.com/archives/15661/打印dataFram里面的模式 printSchema 2/对dataFrame里面的数据进行采样使用的是show函数3/查询dataframe里面的列 s

2016-07-28 16:47:25 649

转载 Apache Spark DataFrames入门指南：创建DataFrame

Apache Spark DataFrames入门指南：创建DataFramehttp://www.iteblog.com/archives/1565(转1:从csv文件创建DataFrame1/在build.sbt文件里面田间spark-csv支持库 com.databricks spark-csv_2.10 1.3.03/impor

2016-07-28 16:47:04 496

转载 sparkSQL中 DataSet 和 DataFram区别

1/dataSet 可以定义类型，可以定义类型，能对各种列进行各种精细操作2/dataFram 能注册成表。然后直接写sql语句就能操作了================DataFram==============================================val df = spark.read.json("examples/src/main/

2016-07-28 15:37:27 1159

转载 Scala类型参数中协变(+)、逆变（-）、类型上界(<:)和类型下界(>:)的使用

有位je上的同学来短信向我问起了Scala类型参数中协变、逆变、类型上界和类型下界的使用方法和原理，自己虽然也刚学不久，在主要调查了《Programing in Scala》的19章后，试着在下面做一个总结。如有错误之处还请各位指正。先说说协变和逆变（实际上还有非变）。协变和逆变主要是用来解决参数化类型的泛化问题。由于参数化类型的参数（参数类型）是可变的，当两个参数化类型的参数是继承关系

2016-07-28 09:31:35 354

转载一个为spark批量导入数据到hbase的库

https://github.com/TopSpoofer/hbrdd

2016-07-25 23:23:00 2055

转载 scala入门教程：scala的数据类型

byte8bit的有符号数字，范围在-128 -- 127Short16 bit有符号数字，范围在-32768 -- 32767Int32 bit 有符号数字，范围 -2147483648 到 2147483647Long64 bit 有符号数字，范围-9223372036854775808 到 92233720368

2016-07-25 22:45:25 307

转载第七十六讲 SparkSQL pv简单案例

http://blog.sina.com.cn/s/blog_9ca9623b0102wbn4.html第七十六讲 SparkSQL pv简单案例userLog.log(上一讲生成的日志)数据上传hivehive –service metastore &启动Spark集群./spark-sql –master spark://Ma

2016-07-24 23:22:35 327

转载 view

view，就像类型边界，要求对给定的类型存在这样一个函数。您可以使用class Container[A 复制代码这是说 A 必须“可被视”为 Int 。方法可以通过隐含参数执行更复杂的类型限制。例如，List支持对数字内容执行sum，但对其他内容却不行。可是Scala的数字类型并不都共享一个超类，所以我们不能使用T sum

2016-07-24 12:41:31 262

转载 scala 空对象

空对象Nil,Null,null,Unit,Nothing,None1) Nothing 是trait，定义为：final trait Nothing extends Any。Nothing处于Scala类型体系的最底层，是所有类型的子类型，Nothing没有实例。2) Null 是trait，定义为：final trait Null extends AnyRef 。Null是所有引用

2016-07-24 12:41:00 4079

转载 scala 隐士参数

Implicit隐士参数，很高明的一个地方1、就是在定义方法的时候，我们多定义了一个隐士参数的地方2、我们的隐士参数，定义的地方，在调用的时候，不比显示的提供3、但是我们的没有调用，实际上会调用到这个方法4、相当于偷懒了，提前准备好了，然后隐藏了起来，实际上是使用到了的。Implicitimplicit parameters 隐式参数如果参数定义为implici

2016-07-24 12:04:24 793

转载 Scala 提取器(Extractor)

提取器： 1、其实伴生对象有两个方法，A： apply B : unapply方法 2、我们使用apply方法来构造我们的一个对象，不需要使用new关键字了。对吧。 3、我们使用unapply方法来提取我们的值。 4、这样的行为叫提取器， 5、默认的行为，使用对象进行模式匹配的时候，会默认调用unapply方法，进行模式匹配

2016-07-24 10:04:02 364

转载 Scala 函数柯里化(Currying)

柯丽华，其实很简单，1、有一个函数，原来接受两个参数2、现在我们将这个两个参数拆开3、这样我们就得到了两个一个参数的函数了4、这样我们调用的时候，就需要分别传入两个参数了5、这样就叫柯丽华，虽然我不知道这个玩意的用途是什么柯里化(Currying)指的是将原来接受两个参数的函数变成新的接受一个参数的函数的过程。新的函数返回一个以原有第

2016-07-23 18:19:26 1141

转载 scala 闭包

闭包：闭包的构成 1、需要在一个区间里面定义一个其他的变量，比如我们叫int a=3； 2、需要在一个函数里面引用这个变量，那么我们就需要在这个函数里面引用这个a 3、这样就构成这个闭包 4、实际上闭包是一个函数而已闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变

2016-07-23 18:16:59 292

转载 Java如何判断线程池所有任务是否执行完毕

[java] view plaincopypackage csdn; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; /** * @author nineday */ public class Test {

2016-07-21 13:32:10 509

转载 Google Guava官方教程（中文版）

http://ifeve.com/google-guava/Google Guava官方教程（中文版）原文链接译文链接译者: 沈义扬，罗立树，何一昕，武祖校对：方腾飞引言Guava工程包含了若干被Google的 Java项目广泛依赖的核心库，例如：集合 [collections] 、缓存 [caching] 、原生类型支持 [primitives

2016-07-19 16:17:38 325

转载 Joda-Time 简介

http://www.ibm.com/developerworks/cn/java/j-jodatime.htmlJoda-Time 简介既然无法摆脱时间，为何不设法简化时间处理？任何企业应用程序都需要处理时间问题。应用程序需要知道当前的时间点和下一个时间点，有时它们还必须计算这两个时间点之间的路径。使用 JDK 完成这项任务将非常痛苦和繁琐。现在来

2016-07-19 16:15:12 312

转载关于 SimpleDateFormat 的非线程安全问题及其解决方案

1、问题：先来看一段可能引起错误的代码：package test.date;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Date;import java.util.Locale;public class ProveNotSafe { static Sim

2016-07-19 14:30:29 588

转载 spark-submit工具参数说明

spark-submit工具参数说明执行时需要传入的参数说明Usage: spark-submit [options] [app options]参数名称含义--master MASTER_URL可以是spark://host:port, mesos://host:port, yarn, yarn-cluster,

2016-07-17 21:43:54 582

转载 RDD、DataFrame和DataSet的区别

RDD、DataFrame和DataSet的区别字数1561 阅读2277 评论9 喜欢10RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同。RDD和DataFrameRDD-DataFrame上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以P

2016-07-17 09:37:56 937

转载 SQL中的case when then else end用法

Case具有两种格式。简单Case函数和Case搜索函数。--简单Case函数CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女'ELSE '其他' END--Case搜索函数CASE WHEN sex = '1' THEN '男' WHEN sex = '2' THEN '女'ELSE '其他

2016-07-16 23:36:04 249

转载通过Spring @PostConstruct 和 @PreDestroy 方法实现初始化和销毁bean之前进行的操作

关于在spring 容器初始化 bean 和销毁前所做的操作定义方式有三种：第一种：通过@PostConstruct 和 @PreDestroy 方法实现初始化和销毁bean之前进行的操作第二种是：通过在xml中定义init-method 和 destory-method方法第三种是：通过bean实现InitializingBean和 DisposableBean

2016-07-16 13:55:21 432

在工作中，开发环境一般和生产环境不同，比如开发Java web应用时我们一般喜欢使用Tomcat等轻量型容器，而在生产环境一般使用像Weblogic这样的商业重量级容器；单元测试的时候大家喜欢直接使用内存数据库，而生产环境则使用像Oracle这样的商业数据库。对于这类问题我们一般需要提供不同的配置信息，甚至写不同的构建脚本来支持持续集成工作，如果我们正使用spring框架进行开发，spring 从

2016-07-15 16:24:49 359

转载使用SparkSQL分析CSDN泄露的用户数据[top-n]

说明CSDN泄露的用户数据的格式如下：aaaaaaa # bbbbbb # xxxxxx@hotmail.comaaaaaaa # bbbbbb # xxxxxx@hotmail.comaaaaaaa # bbbbbb # xxxxxx@hotmail.comaaaaaaa # bbbbbb # xxxxxx@hotmail.com___csdn_1aaaaaaa # bbbb

2016-07-12 23:09:48 652

转载 Hive 【分组topk 有用的】

F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 113D0EEDE67-8385-4B53-BF41-15DA2FA3A8E6 21F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 5756B935FC-94D0-41D4-A051-496A49026A0D 21F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9

2016-07-01 17:03:05 1107

qiezikuaichuan的专栏