自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

BrownWong的专栏

数据科学爱好者。Github: https://github.com/wangjiang0624

原创 描述符

1. 定义描述符是一个具有绑定行为的对象属性,其属性的访问被描述符协议方法覆写。这些方法是__get__()、__set__()和__delete__(),一个对象中只要包含了这三个方法中的至少一个就称它为描述符。2. 使用场景常见的使用场景是:假设你有一个对象属性叫money,你想在某些方面限制...

2016-10-30 11:05:02

阅读数 267

评论数 0

原创 字典Dict

1. 字典有序我们之前说过:字典是无序的,但其实是有序的,只不过不是我们期待的顺序罢了。请看以下例子:>>> dict1 = {'wang': 1, 'jaing': 2, 'guo': 3, 'han': 4} >>> dict1 {'guo': 3, 'ja...

2016-10-29 11:21:50

阅读数 325

评论数 0

原创 关于字符串

ljust()函数的使用:左对齐Description: The method ljust() returns the string left justified(左对齐) in a string of length width. Padding is done using the specif...

2016-10-29 11:03:48

阅读数 208

评论数 0

原创 Git操作

1. 基本操作git init功能:初始化仓库。要使用 Git 进行版本管理,必须先初始化仓库。如果初始化成功,执行了 git init命令的目录下就会生成 .git 目录。这个 .git 目录里存储着管理当前目录内容所需的仓库数据。在 Git 中,我们将工作目录的内容称为“附属于该仓库的工作树”...

2016-10-24 00:32:05

阅读数 505

评论数 0

原创 git简单个人工作流(workflow)

适用于开发个人项目场景: 在github上新创建一个repo,假设命名为TestGit Git Shell进入你的工作空间,创建目录TestGit,并进入此目录。命令如下: mkdir TestGit cd TestGit 将此目录初始化为repo: git init 如果初始...

2016-10-23 15:37:40

阅读数 727

评论数 0

原创 Github简介

1. GitHub 与 Git 的区别在 Git 中,开发者将源代码存入名叫“Git 仓库”的资料库中并加以使用。 而 GitHub 则是在网络上提供 Git 仓库的一项服务。2. Github提供的主要功能Git 仓库一般情况下,我们可以免费建立任意个 GitHub 提供的 Git 仓库。但如...

2016-10-23 13:01:17

阅读数 280

评论数 0

原创 Python OOP

1. 类的声明和创建对于 Python 函数来说,声明与定义类没什么区别,因为他们是同时进行的,定义(类体)紧跟在声明(含 class 关键字的头行[header line])和可选(但总是推荐使用)的文档字符串后面。同时,所有的方法也必须同时被定义。请注意 Python 并不支持纯虚函数(像 C...

2016-10-22 00:18:12

阅读数 2900

评论数 0

原创 子串搜索

>>> import re >>> string = 'test test test test' >>> string.find('test') # 返回匹配字串的第一个下标 0 >>> string.rfind('test...

2016-10-20 23:02:19

阅读数 242

评论数 0

原创 Python正则表达式(二)

1. search和match在 Python专门术语中,有两种主要方法完成模式匹配:搜索(searching)和匹配(matching)。搜索,即在字符串任意部分中查找匹配的模式,而匹配是指,判断一个字符串能否从起始处全部或部分的匹配某个模式。搜索通过 search()函数或方法来实现,而匹配是...

2016-10-20 00:35:03

阅读数 482

评论数 0

原创 Python正则表达式(一)

这一部分只讲正则表达式,不涉及其在Python中的使用问题。正则表达式的强大之处在于特殊符号的应用,特殊符号定义了字符集合,子组匹配,模式重复次数。1. 特殊符号和字符 特别的: 特殊字符 \b and \B 用来匹配单词边界。两者之间的区别是,\b 匹配的模式是一个单词边界,就是说,与之对...

2016-10-19 00:32:44

阅读数 325

评论数 0

原创 RDD

1. RDD基础(1) 概述RDD其实就是分布式的元素集合。在Spark中,对数据的所有操作不外乎创建RDD,转化RDD以及调用RDD操作进行求值。Spark 中的 RDD 就是一个不可变的分布式对象集合。每个 RDD 都被分为多个分区,这些分区运行在集群中的不同节点上。RDD 可以包含 Pyth...

2016-10-16 11:45:25

阅读数 3064

评论数 0

原创 Spark运行及入门

1. 交互式运行Spark(shell) 进入spark目录 To launch Pyspark,we need to use sudo bin/pyspark(你不一定需要加sudo) To launch spark of scala version, use sudo bin/spark-sh...

2016-10-16 01:04:22

阅读数 548

评论数 0

原创 环境变量相关

环境变量的定义就可以只在/etc/profile文件中。在/etc/environment中定义会在ubuntu 14.04发生登录循环问题,原因不明。

2016-10-16 00:21:09

阅读数 154

评论数 0

转载 欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富...

2016-10-16 00:07:38

阅读数 126

评论数 0

原创 导论

1. Spark是什么定义: Spark是一个用来实现快速而通用的集群计算的平台。主要特点: 它的主要特点是能够在内存中进行计算,因而速度更快。总的来说: Spark适用于各种各样原先需要多种不同分布式平台的场景,包括批处理、迭代算法、交互式查询、流处理。2. 组件Spark 项目包含多个紧...

2016-10-15 19:08:35

阅读数 193

评论数 0

原创 Spark优点

作为 MapReduce 的继承者, Spark 主要有三个优点。 首先, Spark 非常好用。由于高级 API 剥离了对集群本身的关注,你可以专注于你所要做的计算本身, 只需在自己的笔记本电脑上就可以开发 Spark 应用。 其次, Spark 很快,支持交互式使用和复杂算法。 最后, Sp...

2016-10-15 18:13:41

阅读数 2101

评论数 0

原创 Pattern Matching

1. Values, Variables, and Types in Matches(1) BasicLet’s cover several kinds of matches. The following example matches on specific values, all values...

2016-10-15 14:50:05

阅读数 287

评论数 0

原创 Interpolated Strings

There are three kinds of interpolated strings. A String of the form s"foo ${bar}" will have the value of expression bar, converted to a Str...

2016-10-13 13:32:30

阅读数 245

评论数 0

原创 Enumeration

While enumerations are a built-in part of many programming languages, Scala takes a different route and implements them as an Enumeration class in it...

2016-10-12 17:01:55

阅读数 165

评论数 0

原创 lazy val

1. DescriptionA related scenario to by-name parameters is the case where you want to evaluate an expression once to initialize a value, not repeatedl...

2016-10-12 15:02:19

阅读数 275

评论数 0

提示
确定要删除当前文章?
取消 删除