2016年11月_影夜life

原创快学Scala学习笔记及习题解答（10-11特质与操作符）

本文Scala使用的版本是2.11.8第10章特质10.1 基本使用特质可以同时拥有抽象方法和具体方法，而类可以实现多个特质。import java.util.Datetrait AbsLogged { // 特质中未被实现的方法默认就是抽象的. def log(msg: String)}trait Logged extends AbsLogged { // 重写抽象方法

2016-11-25 10:39:33 1524

原创快学Scala学习笔记及习题解答（9文件和正则）

本文scala使用的版本是2.11.7第九章文件和正则表达式9.1 文件读取行import scala.io.Sourceval source = Source.fromFile("myfile.txt", "UTF-8)val lineIterator = source.getLinesfor (l <- lineIterator) println(l)// 也可以对迭代器应用toArray或

2016-11-25 10:30:54 674

原创快学Scala学习笔记及习题解答（5-8类、对象、包和继承）

本文scala使用的版本是2.11.7第五章类5.1 基本操作class Person { // Scala会生成一个私有的final字段和一个getter方法,但没有setter val timeStamp = new java.util.Date // 必须初始化字段 private var privateAge = 0 def increment() {

2016-11-25 10:28:53 2554

原创快学Scala学习笔记及习题解答（1-4基础、控制、函数、数组、元组和映射）

本文scala使用的版本是2.11.7第一章基础1.1 基础常量和变量以val定义的值是一个常量，即无法改变它的内容：scala> val counter: Int = 0counter: Int = 0以var定义的值是变量，可以改变它的内容：scala> var v = 0v: Int = 0scala> v = 10v: Int = 10常用类型7种数值类型：Byte、Char、Sho

2016-11-25 10:14:28 1606

原创《Python基础教程》学习笔记（8-9异常、方法、属性和迭代器）

8. 异常8.1 基本操作抛出异常raise Exception('异常演示')# 结果Traceback (most recent call last): File "/xxx/07.python/project/demo/__init__.py", line 8, in <module> raise Exception('异常演示')Exception: 异常演示内建的异常可以在

2016-11-07 11:56:08 628

原创《Hadoop 2.X HDFS源码剖析》读书笔记（RPC）

1. HDFS概述1.1 体系结构HDFS是一个主从（Master/Slave）体系结构的分布式系统。Namenode是HDFS的Master节点，负责管理文件系统的命名空间（namespace），以及数据块到具体Datanode节点的映射等信息。集群中的Datanode一般是一个节点一个，负责管理它所在节点的存储。1.2 RPC接口Hadoop RPC接口主要定义在org.apache.hadoo

2016-11-07 11:54:00 2772 1

原创《Hadoop 2.X HDFS源码剖析》读书笔记（Client）

1. DSFClient实现对于管理文件/目录以及管理与配置HDFS系统这两个功能，DFSClient并不需要与Datanode交互，而是直接通过远程接口ClientProtocol调用Namenode提供的服务即可。而对于文件读写功能，DFSClient除了需要调用ClientProtocol与Namenode交互外，还需要通过流式接口DataTransferProtocol与Datanode交互

2016-11-05 23:36:09 4279

原创《Hadoop 2.X HDFS源码剖析》读书笔记（DataNode)

1. Datanode逻辑结构1.1 HDFS FederationFederation的HDFS集群可以定义多个Namenode/Namespace，这些Namenode之间是互相独立的，它们各自分工管理着自己的命名空间。而Datanode则提供数据块的共享存储功能，每个Datanode都会向集群中所有Namenode注册，且周期性地向所有Namenode发送心跳和块汇报，然后执行Namenode

2016-11-05 18:06:00 2471

原创 Spark概述

1. Spark架构1. Driver Program在集群模式下，用户编写的Spark程序称为Driver程序。每个Driver程序包含一个代表集群环境的SparkContext对象并与之连接，程序的执行从Driver程序开始，中间过程会调用RDD操作，这些操作通过集群资源管理器来调度执行，一般在Worker节点上执行，所有操作执行结束后回到Driver程序，在Driver程序中结束。2. Spa

2016-11-05 18:04:13 1225

原创 Spark算子使用示例

1. 算子分类从大方向来说，Spark 算子大致可以分为以下两类Transformation：操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。Action：会触发 Spark 提交作业（Job），并将数据输出 Spark系统。从小方向来说，Spark 算子大致可以分为以下三类:Value数据类型的T

2016-11-05 18:02:21 13421 5

梓纾的专栏