2016年10月_dabokele

原创 Programming In Scala笔记-第十七章、Scala中的集合类型

本章主要介绍Scala中的集合类型，主要包括：Array, ListBuffer, Arraybuffer, Set, Map和Tuple。　　一、序列　　序列类型的对象中包含多个按顺序排列好的元素，可以访问其中特定位置的元素。序列类型主要包括List，Array， ListBuffer， ArrayBuffer 。1、List　　List在前一章已经介绍过，略。2、Array　　数组在很多编程

2016-10-20 22:58:07 1182

原创 Programming In Scala笔记-第十六章、Scala中的List

本章主要分析Scala中List的用法，List上可进行的操作，以及需要注意的地方。一、List字面量　　首先看几个List的示例。val fruit = List("apples", "oranges", "pears")val nums = List(1, 2, 3, 4)val diag3 = List( List(1, 0, 0), List(0, 1, 0),

2016-10-18 00:01:07 1834

翻译 Spark Streaming + Kafka整合(Kafka broker版本0.8.2.1+)

这篇博客是基于Spark Streaming整合Kafka-0.8.2.1官方文档。　　本文主要讲解了Spark Streaming如何从Kafka接收数据。Spark Streaming从Kafka接收数据主要有两种办法，一种是基于Kafka high-level API实现的基于Receivers的接收方式，另一种是从Spark 1.3版本之后新增的无Receivers的方式。这两种方式的代码编

2016-10-14 00:08:55 6226 2

翻译 Spark Streaming编程指南

本文基于Spark Streaming Programming Guide原文翻译，加上一些自己的理解和小实验的结果。　　一、概述　　Spark Streaming是基于Core Spark API的可扩展，高吞吐量，并具有容错能力的用于处理实时数据流的一个组件。Spark Streaming可以接收各种数据源传递来的数据，比如Kafka, Flume, Kinesis或者TCP等，对接收到的

2016-10-13 22:03:35 6872 3

原创 Spark-SQL之DataFrame操作大全

Spark SQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。可以参考，Scala提供的DataFrame API。　　本文中的代码基于Spark-1.6.2的文档实现。一、DataFrame对象的生成　　Spark-SQL可以以其他RDD对象、parquet文件、json文件、hive表，以及通过JD

2016-10-12 23:31:35 197168 18

原创 Programming In Scala笔记-第十九章、类型参数，协变逆变，上界下界

本章主要讲Scala中的类型参数化。本章主要分成三个部分，第一部分实现一个函数式队列的数据结构，第二部分实现该结构的内部细节，最后一个部分解释其中的关键知识点。接下来的实例中将该函数式队列命名为Queue。一、函数式队列　　函数式队列是一种具有以下三种操作方法的数据结构，并且这些操作都必须在常量时间内完成：head，返回该队列中的第一个元素tail，返回除第一个元素之外的所有元素组成的新队列e

2016-10-10 00:08:38 1169

原创 Programming In Scala笔记-第十五章、Case Classes和模式匹配

本章主要分析case classes和模式匹配(pattern matching)。一、简单例子　　接下来首先以一个包含case classes和模式匹配的例子来展开本章内容。　　下面的例子中将模拟实现一个算术运算，这个算术运算可以基于变量和数字进行一些一元或二元的操作。其中有关数据类型，以及一元和二元操作的类型都定义在如下代码中。abstract class Exprcase class V

2016-10-08 23:25:36 1587

原创 Programming In Scala笔记-第十一章、Scala中的类继承关系

本章主要从整体层面了解Scala中的类层级关系。一、Scala的类层级　　在Java中Object类是所有类的最终父类，其他所有类都直接或间接的继承了Object类。在Scala中所有类的最终父类为Any类，所以Any类中的所有方法都可以在Scala中任意类中使用。但是这并不是说Scala中的Any类就类似于Java中的Object类，Scala中真正地位类似于Java中Object类的是AnyRe

2016-10-06 23:14:55 1626

原创 Programming In Scala笔记-第九章、控制抽象

本章主要讲解在Scala中如何使用函数值来自定义新的控制结构，并且介绍Curring和By-name参数的概念。一、减少重复代码1、重复代码的场景描述　　前面定义的函数，将实现某功能的代码封装到一起形成一个特定功能的代码块。那么，正常情况下，各函数之间有可能会有部分逻辑是相同的。不好理解的话，看看下面的代码。object FileMatcher { private def filesHere =

2016-10-04 00:16:17 919

dabokele的博客