自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Spark基础-Scala偏函数和lazy和异常

核心 1、Scala偏函数和lazy和异常package com.xlucasimport java.io.IOException /** * Created by xlucas on 2017/8/27 0027. */ object PairtialAndExceptionAndLa...

2017-08-28 00:28:30

阅读数 517

评论数 0

原创 Spark基础-Scala中actor的操作

核心 1、scala中actor的操作package com.xlucas import sun.plugin2.jvm.RemoteJVMLauncher.CallBackimport scala.actors._ /** * Created by xlucas on 2017/8/27 ...

2017-08-27 23:10:38

阅读数 787

评论数 0

原创 Spark基础-Scala中implicits转换操作

核心 scala中implicits操作package com.xlucas/** * Created by xlucas on 2017/8/27 0027. */ class Man(val name:String) /*object Man{ implicit def man...

2017-08-27 21:13:21

阅读数 1812

评论数 0

原创 Spark基础-Scala类型参数编程

核心 1、scala类型参数编程package com.xlucas/** * Created by xlucas on 2017/8/24 0024. * 1、scala 的类和方法、函数都可以是泛型 * 2、上边界表达了泛型的类型必须是某种类型或则某种类型的子类,语法为 <...

2017-08-25 23:00:25

阅读数 215

评论数 0

原创 Spark基础-Scala集合函数式编程

package com.xlucas import scala.collection.immutable; /** * Created by xlucas on 2017/8/23 0023. * 1、在scala集合体系中Iterable是共同的Trait,Iterable要求继承者实现...

2017-08-23 23:42:38

阅读数 204

评论数 0

原创 Druid自动增加timestamp字段

核心 1、druid增加timestamp值 2、druid时间同步导致的问题在我们用druid进行overload csv文件的时候,如果我们文件中没有一个timestamp这个自动,我们想默认一个值,这个应该怎么操作呢?配置 timestampSpec 但是timestamp这个列为空值,...

2017-08-23 16:50:18

阅读数 2689

评论数 2

原创 curl命令

核心 1、curl的应用druid 有一个这样的命令 查询命令curl -L -H'Content-Type: application/json' -XPOST --data-binary @timeBoundary.json http://30.0.5.38:8082/druid/v2/?p...

2017-08-21 20:20:14

阅读数 319

评论数 0

原创 Spark基础-Scala模式匹配

核心 1、scala中的模式匹配package com.xlucas/** * Created by xlucas on 2017/8/20 0020. */ class data case class data1(name:String) extends data case clas...

2017-08-21 00:18:44

阅读数 456

评论数 0

原创 Spark基础-Scala高阶函数

核心 1、scala高阶函数package com.xlucas/** * Created by xlucas on 2017/8/20 0020. * * 1、函数和变量一样作为scala语言的一等公民,函数可以直接赋值给变量 * 2、函数更多的方式是匿名函数,定义的时候只需要...

2017-08-20 23:22:59

阅读数 575

评论数 0

原创 Spark基础-Scala集合操作

核心 1、scala的集合操作package com.xlucasimport scala.collection.mutable/** * Created by xlucas on 2017/8/17 0017. * 1、默认情况下Map构造的是不可变的集合,里面的内容不可修改,一旦修改...

2017-08-17 23:52:52

阅读数 478

评论数 0

原创 Spark基础-Scala面向对象

核心 1、scala面向对象基础package com.xlucas/** * Created by xlucas on 2017/8/16 0016. * 1、scala中定义类用class关键字 * 2、可以使用new 关键字来构建出对象 * 3、如果名称相同,则object...

2017-08-16 23:27:29

阅读数 245

评论数 0

原创 Spark基础-Scala集合的操作

核心 1、scala集合的操作package com.xlucas import scala.collection.mutable.ArrayBuffer /* * Created by xlucas on 2017/8/15 0015. * scala 中数据的创建和操作 * 1、最...

2017-08-16 00:26:51

阅读数 361

评论数 0

原创 Spark基础-Scala函数式编程

核心 1、scala函数式编程package com.xlucas/** * Created by xlucas on 2017/8/14 0014. *//** * 函数可以被简单的任务是一条或者几条语句的代码体,该代码体接收若干参数,经过代码体处理后返回结果,和数学中的f(x)=...

2017-08-14 23:58:32

阅读数 214

评论数 0

原创 Spark基础-Scala条件判断和循环

核心 1、scala判断和循环package com.xlucas/** * Created by xlucas on 2017/8/13 0013. * 1、Scala中的基本控制结构有顺序、条件和循环三种方式,这个其他的jvm语言是一致的,但是Scala也有一些高级的流程控制类模式匹...

2017-08-13 23:26:36

阅读数 2599

评论数 0

原创 Spark基础-Scala语句解析

核心 1、Scala for idea 2、idea中Scala环境搭建 3、Scala程序解析1、Scala for idea https://www.jetbrains.com/idea/ 从这个进入idea的官网,从这里下载我们可以看到有2个一个是社区版本一个的企业版本,开发我们都...

2017-08-13 10:33:48

阅读数 329

评论数 0

原创 Spark基础-Scala学习1

核心 1、Scala的介绍 2、Scala常量和变量的定义 3、Scala中常量的意义 4、Scala的基本操作命令行所代表的是Scala的REPL界面,所谓的REPL是指READ->Evakuatuib->Print->Loop在spark中也提供了REPL界面叫做sp...

2017-08-12 23:55:36

阅读数 155

评论数 0

原创 Hbase架构

下面这个图展示了Hbase是如何与Hadoop文件系统协作完成数据存储的 Hbase体系结构 一个HMaster 有多个HRegionServer 一个HRegionServer有多个HRegion 写入过程 Hlog(操作数据)—>MemStore(一个column fami...

2017-08-09 23:49:19

阅读数 327

评论数 0

原创 使用 Spark MLlib 做 K-means 聚类分析

Spark 机器学习库介绍Spark 机器学习库提供了常用机器学习算法的实现,包括聚类,分类,回归,协同过滤,维度缩减等。使用 Spark 机器学习库来做机器学习工作,可以说是非常的简单,通常只需要在对原始数据进行处理后,然后直接调用相应的 API 就可以实现。但是要想选择合适的算法,高效准确地对...

2017-08-01 09:21:30

阅读数 1812

评论数 0

提示
确定要删除当前文章?
取消 删除