- 博客(18)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark基础-Scala偏函数和lazy和异常
核心 1、Scala偏函数和lazy和异常package com.xlucasimport java.io.IOException/** * Created by xlucas on 2017/8/27 0027. */object PairtialAndExceptionAndLazyOop { def main(args: Array[String]): Unit = {
2017-08-28 00:28:30
858
原创 Spark基础-Scala中actor的操作
核心 1、scala中actor的操作package com.xlucasimport sun.plugin2.jvm.RemoteJVMLauncher.CallBackimport scala.actors._/** * Created by xlucas on 2017/8/27 0027. */object ActorOop { def main(args: Array[
2017-08-27 23:10:38
1134
原创 Spark基础-Scala中implicits转换操作
核心 scala中implicits操作package com.xlucas/** * Created by xlucas on 2017/8/27 0027. */class Man(val name:String)/*object Man{ implicit def man2superMan(man:Man)=new SuperMan(man.name)}*/class
2017-08-27 21:13:21
3734
原创 Spark基础-Scala类型参数编程
核心 1、scala类型参数编程package com.xlucas/** * Created by xlucas on 2017/8/24 0024. * 1、scala 的类和方法、函数都可以是泛型 * 2、上边界表达了泛型的类型必须是某种类型或则某种类型的子类，语法为 <: , 对类型进行限定 * 下边界表达了泛型的类型必须是某种类型或则某种类型的父类，语法为 >:
2017-08-25 23:00:25
427
原创 Spark基础-Scala集合函数式编程
package com.xlucasimport scala.collection.immutable;/** * Created by xlucas on 2017/8/23 0023. * 1、在scala集合体系中Iterable是共同的Trait，Iterable要求继承者实现一些共同的方法，例如对元素的遍历 * 2、Array是一个非常基础的数据结构，不属于scala集合的
2017-08-23 23:42:38
401
原创 Druid自动增加timestamp字段
核心 1、druid增加timestamp值 2、druid时间同步导致的问题在我们用druid进行overload csv文件的时候，如果我们文件中没有一个timestamp这个自动，我们想默认一个值，这个应该怎么操作呢？配置 timestampSpec 但是timestamp这个列为空值, 然后 format 为auto格式的，出现了下面这个错误2017-08-22T07:57:34,971
2017-08-23 16:50:18
4738
2
原创 curl命令
核心 1、curl的应用druid 有一个这样的命令 查询命令curl -L -H'Content-Type: application/json' -XPOST --data-binary @timeBoundary.json http://30.0.5.38:8082/druid/v2/?pretty-L选项进行重定向-H 自定义头信息传递给服务器-X 指定类型是POST --data
2017-08-21 20:20:14
742
原创 Spark基础-Scala模式匹配
核心 1、scala中的模式匹配package com.xlucas/** * Created by xlucas on 2017/8/20 0020. */class datacase class data1(name:String) extends datacase class data2(name:String) extends dataobject MatchOop
2017-08-21 00:18:44
982
原创 Spark基础-Scala高阶函数
核心 1、scala高阶函数package com.xlucas/** * Created by xlucas on 2017/8/20 0020. * * 1、函数和变量一样作为scala语言的一等公民，函数可以直接赋值给变量 * 2、函数更多的方式是匿名函数，定义的时候只需要说明输入参数的类型和函数体即可 * 3、函数可以作为参数直接传递给函数，函数作为函数的参数传递的编程
2017-08-20 23:22:59
866
原创 Spark基础-Scala集合操作
核心 1、scala的集合操作package com.xlucasimport scala.collection.mutable/** * Created by xlucas on 2017/8/17 0017. * 1、默认情况下Map构造的是不可变的集合，里面的内容不可修改，一旦修改就变成新的Map，原有的Map内容保存不变 * 2、Map的实例是调用工厂方法模式apply来构建M
2017-08-17 23:52:52
798
原创 Spark基础-Scala面向对象
核心 1、scala面向对象基础package com.xlucas/** * Created by xlucas on 2017/8/16 0016. * 1、scala中定义类用class关键字 * 2、可以使用new 关键字来构建出对象 * 3、如果名称相同，则object中的内容都是class的静态内容，也就是说object中的内容class都可以在没有实例的情况下直接调用
2017-08-16 23:27:29
568
原创 Spark基础-Scala集合的操作
核心 1、scala集合的操作package com.xlucasimport scala.collection.mutable.ArrayBuffer/* * Created by xlucas on 2017/8/15 0015. * scala 中数据的创建和操作 * 1、最原始的创建数据的方式 val array=new Array[Int](5) * 2、数据的长度和J
2017-08-16 00:26:51
566
原创 Spark基础-Scala函数式编程
核心 1、scala函数式编程package com.xlucas/** * Created by xlucas on 2017/8/14 0014. *//** * 函数可以被简单的任务是一条或者几条语句的代码体，该代码体接收若干参数，经过代码体处理后返回结果，和数学中的f(x)=x+1 * 在scala中函数是一等公民，可以向变量一样被传递，被赋值，同时函数可以赋值给变量，变量
2017-08-14 23:58:32
505
原创 Spark基础-Scala条件判断和循环
核心 1、scala判断和循环package com.xlucas/** * Created by xlucas on 2017/8/13 0013. * 1、Scala中的基本控制结构有顺序、条件和循环三种方式，这个其他的jvm语言是一致的，但是Scala也有一些高级的流程控制类模式匹配 * 在这里我们主要if、for、while等三种 * * if条件表达式会根据if后面括
2017-08-13 23:26:36
4585
原创 Spark基础-Scala语句解析
核心 1、Scala for idea 2、idea中Scala环境搭建 3、Scala程序解析1、Scala for idea https://www.jetbrains.com/idea/ 从这个进入idea的官网，从这里下载我们可以看到有2个一个是社区版本一个的企业版本，开发我们都采用社区版本就可以了，选择你要安装的操作系统，这里安装idea我就不过多的介绍了 2、idea中Sca
2017-08-13 10:33:48
624
原创 Spark基础-Scala学习1
核心 1、Scala的介绍 2、Scala常量和变量的定义 3、Scala中常量的意义 4、Scala的基本操作命令行所代表的是Scala的REPL界面，所谓的REPL是指READ->Evakuatuib->Print->Loop在spark中也提供了REPL界面叫做spark shell，适合通过shell来和整个spark集群交互和实验通过var来声明的变量是可以被修改的 scala>
2017-08-12 23:55:36
342
原创 Hbase架构
下面这个图展示了Hbase是如何与Hadoop文件系统协作完成数据存储的 Hbase体系结构 一个HMaster 有多个HRegionServer 一个HRegionServer有多个HRegion 写入过程 Hlog(操作数据)—>MemStore(一个column family对应一个memstore,这个是内存，当到了值的时候 会flush到磁盘形成storefile)—->St
2017-08-09 23:49:19
480
原创 使用 Spark MLlib 做 K-means 聚类分析
Spark 机器学习库介绍Spark 机器学习库提供了常用机器学习算法的实现，包括聚类，分类，回归，协同过滤，维度缩减等。使用 Spark 机器学习库来做机器学习工作，可以说是非常的简单，通常只需要在对原始数据进行处理后，然后直接调用相应的 API 就可以实现。但是要想选择合适的算法，高效准确地对数据进行分析，您可能还需要深入了解下算法原理，以及相应 Spark MLlib API 实现的参数的意义
2017-08-01 09:21:30
3786
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人