Mr.Phoebe的专栏

Slides：百度云 提取码: gs3n接着第10讲继续总览单次设置激活函数数据预处理权重初始化正则化动态训练学习率规划large-batch 训练；超参数优化训练后模型融合迁移学习今天将介绍第二点和第三点。学习率规划我们有多种梯度下降的方式：SGD, SGD+Momentum, Adagrad, RMSProp, Adam对于这些梯度下降的方式，学习率都是一个超参数。我们要怎么选取一个合适的学习率呢？对于任何的方式，初始情况下，我们都应该选择较大

Slides：百度云 提取码: gs3n第9课讲的是神经网络的软硬件，感觉比较科普，不做总结。总览单次设置激活函数数据预处理权重初始化正则化动态训练学习率规划large-batch 训练；超参数优化训练后模型融合迁移学习今天第一讲讲解的是第一点，第二讲将介绍第二点和第三点。激活函数之前也介绍了激活函数是什么，不同的激活函数在训练上，在效果上，在解决问题的方面都各有侧重。下面一一来介绍。Sigmoid非常常用的激活函数，在很多线性分类的machi

Slides：百度云 提取码: gs3n今天这一讲，我们以ImageNet Classification Challenge中使用的CNN的发展来进行介绍。AlexNet在2012年以前，ImageNet Classification Challenge的获胜者都是人工进行特征提取的线性分类模型。在2012年，AlexNet成功登顶。AlexNet的结构蓝色部分是神经网络的结构，从这我们能够看得出来，这个神经网络的各项长宽大小都是没有明显规律的。这花费了研究人员很长时间进行调整。黄色的部分

Slides：百度云 提取码: gs3n之前说了全连接神经网络，说了线性分类，这些东西全都没有保留图片原本的2D特性，全都是将图片转化为1D的数组。而今天说的CNN，则是能更好地保留图片的2D特性，在CV中有着更广泛地运用。卷积层对于一个32x32x3的一个图片，全连接层将它平摊成一个3072x1的数组对于同样的图片，卷积层则是这么做的它通过一个和输入图片同样高的filter，让filter与输入图片进行卷积，得出了一个28x28x1的新的图片同时，我们可以有多个filter，从而产生多个

Slides：百度云 提取码: gs3n神经网络的梯度下降我们之前在学习线性分类器的时候，使用Loss函数以及梯度下降法来更新权重。那么对于神经网络，我们该如何计算每层神经元的权重呢？对每层W直接求导（愚蠢的方法）如上公式所示，Loss函数最终是能被表达成由各层W组成的函数公式，并且也完全有可能直接对其进行求导。问题非常乏味，需要大量矩阵演算，需要大量纸张如果我们想改变损失怎么办？ 例如。 使用softmax代替SVM？ 需要从头开始重新派生。这种方式不是模块化的。对于非常复杂的NN模型

Slides：百度云 提取码: gs3n前情回顾我们讲解了用线性模型进行图片分类用Loss函数来表示不同的权重的好坏用SGD来训练模型，使得Loss函数最小新的挑战线性分类并不能解决一切问题比如，下图的非线性分类问题再比如，对于每个类别，都需要一个模板来表示，从而它不能识别一个类中其他状态的图片。特征转化用如图的方式进行极坐标和直角坐标的转化，从而使得右图是线性可分的图片特征：颜色直方图将图片进行统计学意义上的特征提取图片特征：边缘梯度直方图用到了经典CV边缘判断，计

优化优化的本质目标就是ω∗=argminωL(ω)\omega^*=argmin_{\omega}L(\omega)ω∗=argminω​L(ω)其中的L(ω)L(\omega)L(ω)是Lost函数，即，找到能够使得L(ω)L(\omega)L(ω)最小的ω\omegaω。优化的方式随机搜索（愚蠢的决定）梯度计算对于一维函数，通过微分得到梯度df(x)dx=lim⁡h→0f(x+h)−f(x)h{df(x)\over dx}=\lim_{h\rightarrow 0}{f(x+h)-f(

Slides：百度云 提取码: gs3n线性分类的参数线性分类的公式f(x,W)=Wx+bf(x, W) = Wx + bf(x,W)=Wx+b其中WWW为参数或者权重以一个有101010类的32×32×332\times 32\times 332×32×3的图片为例其中f(x,W)f(x, W)f(x,W)和bbb为(10,)(10,)(10,)向量，WWW为(10,3072)(10, 3072)(10,3072)的矩阵，xxx为(3072,)(3072,)(3072,)的向量。也可以把b

计算机视觉中的深度学习2: 图片分类Slides：百度云计算机与人眼的区别对于一张灰度图片，计算机能看到的是像素大小的0~255的灰度值；对于RGB图片，则是一张像素大小的3通道矩阵，即800x600x3。计算机视觉的挑战视角变化的挑战视角的变化带来的像素的变化是非常巨大的。在不同的角度拍摄一只猫，人类很容易分辨这是同一种猫，而像素的变化却非常巨大，只有设计出了更加完备的算法才能让计算机程序更稳定地运行。图片交叉的挑战多只猫会重叠在一起。粒度更细的分类我们不仅仅需要分辨

Leetcode 851. Loud and Rich 以及一些面试的想法Leetcode 851. Loud and Rich 这道题本身没有什么很特殊的地方，但是它引发了我对面试写算法题的一些想法和思考。题意：给你一个拓扑序列richer，给你一个安静值quiet。对于每一个节点，找到拓扑序列严格在这个节点之后的最小的quiet值的节点。（无法排列拓扑关系的，则不是严格在节点之后的）。思路看到题目第一眼，首先想到排一个拓扑序列，再对于每个节点，取拓扑序列后一段的最小值（和最小值代表的节点）。

Future/Promise 编程模式如何减少服务器应答时间，如何更强地进行并发。异步调用的Future/Promise1模式就是实现这一目的的手段之一。一个 Future 就是说“将来”你需要某些东西（一般就是一个网络请求的结果），但是你现在就要发起这样的请求，并且这个请求会异步执行。或者换一个说法，你需要在后台执行一个异步请求。C++中的应用C++11创建了线程以后，我们不能直接从th...

未定义行为若违反某些规则，则令整个程序失去意义。定义在计算机程序设计中，未定义行为（undefined behavior）是指执行某种计算机代码所产生的结果，这种代码在当前程序状态下的行为在其所使用的语言标准中没有规定。常见于编译器对源代码存在某些假设，而执行时这些假设不成立的情况。同时语言规范也不要求编译器诊断未定义行为（尽管许多简单情形确实会得到诊断），而且不要求所编译的程序做任何有意...

本文整理自Go编程技巧–io.Reader/WriterGo原生的包中有一些核心的interface，其中io.Reader/Writer是比较常用的接口。很多原生的结构都围绕这个系列的接口展开，在实际的开发过程中，你会发现通过这个接口可以在多种不同的io类型之间进行过渡和转化。本文结合实际场景来总结一番。关系图表type Reader interface { Read(p []b...

本文整理自The Go schedulerGoroutine的调度Go语言之所以要自己实现一个调度器有以下两个原因：协程调度。因为系统内核不能再决定协程的切换，那么协程的切换时间点则是由程序内部的调度器决定的。垃圾回收。垃圾回收的必要条件是内存位于一致状态，这就需要暂停所有的线程，如果交给系统去做，那么会暂停所有的线程使其一致。程序自身的调度器知道什么时候内存位于一致状态，那么就没有必要...

转载自文本相似度-bm25算法原理及实现原理BM25算法，通常用来作搜索相关性评分。一句话概况其主要思想：对Query进行语素解析，生成语素qiq_iqi​；然后，对于每个搜索结果D，计算每个语素qiq_iqi​与D的相关性得分，最后，将qiq_iqi​相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。BM25算法的一般性公式如下：Score(Q,d)=∑inWi⋅R(...

go中的并发从并发模型说起并发目前来看比较主流的就三种：多线程每个线程一次处理一个请求，线程越多可并发处理的请求数就越多在高并发下，多线程的调度开销会比较大。协程无需抢占式的调度，开销小，可以有效的提高线程的并发性，从而避免了线程的缺点的部分基于异步回调的IO模型利用Linux内核的AIO进行异步IO1nginx使用的就是epoll模型，通过事件驱动的方式与异步...

现在多进程多线程已经是老生常谈了，协程也在最近几年流行起来。python中有协程库gevent，go里面的goroutine也是一个非常棒的协程库。本文主要介绍进程、线程和协程三者之间的区别。概念进程进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，也是基本的执行单元，是操作系统结构的基础。每个进程都有自己的独立内存空间，不同进程通过...

本文整理自博文PageRank算法 – 从原理到实现1. 算法来源这个要从搜索引擎的发展讲起。最早的搜索引擎采用的是 分类目录1的方法，即通过人工进行网页分类并整理出高质量的网站。那时 Yahoo 和国内的 hao123 就是使用的这种方法。后来网页越来越多，人工分类已经不现实了。搜索引擎进入了 文本检索 的时代，即计算用户查询关键词与网页内容的相关程度来返回搜索结果。这种方法突破了数量的限...

简介布隆过滤器（Bloom Filter）实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。原理当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不是都是1：如果这些点有任何一个0，则被检元素一定不在；如果都是1，则被检元素很可能在集合中（获得在这个集合中的概率）。Fa...

golang传值和传引用这里不会解释关于指针的情况，如果读者对C语言或者C++的指针比较了解，那么就能更好地理解本文。定义对于代码modify(a);a.modify();如果modify中对于a的修改不会改变传入的a的值，那么就是传值调用；否则，是传引用。传值调用是将传入的变量在内存中复制一份进行操作，所以本质是存储在不同内存地址的不同变量。传引用是将传入变量的内存地址，在函数操...

题意给你一个字符串，让你找出这个字符串以元音字母开头（a，e，i，o，u），辅音字母结尾的所有子串，中的字典序最大串和最小串。思路虽然是面试题，但是我觉得这是我见过的最难的面试题暴力解#include<iostream>#include<unordered_set>#include<string>using namespace std;...

Leetcode 699. Falling Squares很久没有写题解了，主要是leetcode没啥有意思的题目，写来没啥意思。今天这题还算有点意思，可以分析分析。描述给你一个序列表示下落的俄罗斯方块的情况。序列里面含有 NNN 对值 (L,S)(L,S)(L, S)，其中LLL表示方块下落的左坐标，SSS表示下落方块的边长，这里下落的方块永远是正方形。其中N≤1000,L≤...

golang defer的使用基本使用在golang当中，defer代码块会在函数调用链表中增加一个函数调用。这个函数调用不是普通的函数调用，而是会在函数正常return之后添加一个函数调用。因此，defer通常用来释放函数内部变量。为了更好的学习defer的行为，我们首先来看下面一段代码:func CopyFile(dstName, srcName string) (wr...

golang 的fmt 包实现了格式化I/O函数，类似于C的 printf 和 scanf。# 定义示例类型和变量type Human struct { Name string}var people = Human{Name:"sujing"}普通占位符 占位符 说明 举例 输出 %v 相应值的默认格式。 Printf(“%v”...

理解 go interface 的 5 个关键点原创： wecatch wecatch 2017-07-23 这篇关于 go 的 interface 的介绍。1、interface 是一种类型type I interface {    Get() int}首先 interface 是一种类型，从它的定...

go 数组(array)、切片(slice)、map数组(array)go语言中的数组是固定长度的。使用前必须指定数组长度。go语言中数组是值类型。如果将数组赋值给另一个数组或者方法中参数使用都是复制一份，方法中使用可以使用指针传递地址。var arrayName = [arraySize]dataType{xxx,xxx,xxx....}　　//定义全局数组var b ...

大家都知道Go语言中的函数new与函数make一直是新手比较容易混淆的东西，看着相似，但其实不同，不过解释两者之间的不同也非常容易，下面这篇文章主要给大家介绍了关于Go语言中函数new与make区别的相关资料，需要的朋友可以参考下。前言本文主要给大家介绍了Go语言中函数new与make的使用和区别，关于Go语言中new和make是内建的两个函数，主要用来创建分配类型内存。在我们定义生成变量...

原文https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386820062641f3bcc60a4b164f8d91df476445697b9e000在绑定属性时，如果我们直接把属性暴露出去，虽然写起来很简单，但是，没办法检查参数，导致可以把成绩随便改：s = Stud...

英文： Priority Inversion 中文： 优先级翻转、优先级倒置、优先级逆转 介绍： 即当一个高优先级任务通过信号量机制访问共享资源时，该信号量已被一低优先级任务占有，而这个低优先级任务在访问共享资源时可能又被其它一些中等优先级任务抢先，因此造成高优先级任务被许多具有较低优先级任务阻塞，实时性难以得到保证。什么是优先级反转简单从字面上来说，就是低优先级的任务先于高优...

C++中的make_shared，shared_ptr与weak_ptrC++11中引入了智能指针，同时还有一个模板函数std::make_shared可以返回一个指定类型的std::shared_ptr。shared_ptr的基本操作#include <memory>#include <iostream>struct Foo { Foo() ...

Restful API 设计原则前言网络应用程序分为前端和后端两个部分。当前的发展趋势，就是前端设备层出不穷（手机、平板、桌面电脑、其他专用设备……），这也就意味着前端的开发代码、开发框架变得多种多样。因此，必须有一种统一的机制，方便不同的前端代码与后端进行通信。这就导致了API构架的流行。REST是目前比较成熟的一套互联网应用程序的API设计理论。 它可以降低开发的复杂度，提...

初识Restful架构起源REST这个词，是Roy Thomas Fielding在他2000年的博士论文《Architectural Styles and the Design of Network-based Software Architectures》中提出的。《CHAPTER 5 Representational State Transfer (REST)》是REST的...

资格赛，除了最后一题比较有趣以外，其他都比较简单Saving The Universe Again贪心 一开始想着尽可能将S往前移，但是想了想觉得这样移动好多次，可能才等于后面的S往前移一位的成果。 所以就变成尽可能地将C往末尾移（末尾一段连续的C就不用考虑了），即，每一次移动减少的伤害最大。int T,n;vi a1,a2;int main(){ cin>&...

HTTP协议与其请求方法HTTP协议简介HTTP（超文本传输协议，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议，最初的目的是为了提供一种发布和接受HTML页面的方法，即用于从WWW服务器传输超文本到本地浏览器的传输协议。所有的WWW文件都必须遵守这个标准。HTTP连接使用的是“请求—响应”的方式，不仅在请求时需要先建立连接，而且需要客...

一个比较有趣的面试题题意：仅由4和7组成的十进制数字被称为幸运数字，如，4，7，44，47。那么仅由幸运数字乘积得到的数字为超级幸运数字，如，28 = 4 * 7。现在给你两个数字表示上下限，让你求这段区间内有多少个超级幸运数字。总共有1000组查询，上下限最多到1012101210^{12}。思路：第一想法是容斥搞一下，但是其实非常难，因为除了爆搜很难去构造出仅由幸运数字...

Java的注解大家用得都挺多的，现在讲解一下它提供的自定义注解语法。自定义注解使用@interface自定义注解时，自动继承了java.lang.annotation.Annotation接口，由编译程序自动完成其他细节。在定义注解时，不能继承其他的注解或接口。@interface用来声明一个注解，其中的每一个方法实际上是声明了一个配置参数。方法的名称就是参数的名称，返回值类型就是...

线程的3种实现方式在引入线程的操作系统中，进程是资源分配的基本单位，线程是独立调度的基本单位。在同一进程中，线程的切换不会引起进程切换。在不同进程中进行线程切换,如从一个进程内的线程切换到另一个进程中的线程时，会引起进程切换。线程分为两种： 名称 描述 用户级线程(User-Level Thread, ULT) 由应用程序所支持的线程实现, 对内核不可见...

作用域先来谈谈变量的作用域 变量的作用域无非就是两种：全局变量和局部变量。 全局作用域： 最外层函数定义的变量拥有全局作用域，即对任何内部函数来说，都是可以访问的：<script> var outerVar = "outer"; function fn(){ console.log(outerVar); } fn();/...

原文https://www.cnblogs.com/heshuchao/p/5376298.html序言最近学习java，接触到了回调机制(CallBack)。初识时感觉比较混乱，而且在网上搜索到的相关的讲解，要么一言带过，要么说的比较单纯的像是给CallBack做了一个定义。当然了，我在理解了回调之后，再去看网上的各种讲解，确实没什么问题。但是，对于初学的我来说，缺了一个循序渐进的过...

抽象类的基本概念普通类是一个完善的功能类，可以直接产生实例化对象，并且在普通类中可以包含有构造方法、普通方法、static方法、常量和变量等内容。而抽象类是指在普通类的结构里面增加抽象方法的组成部分。那么什么叫抽象方法呢？在所有的普通方法上面都会有一个“{}”，这个表示方法体，有方法体的方法一定可以被对象直接使用。而抽象方法，是指没有方法体的方法，同时抽象方法还必须使用关键字abstrac...

多线程、同步异步及阻塞和非阻塞进程和线程的概念进程：运行中的应用程序称为进程，拥有系统资源（cpu、内存）线程：进程中的一段代码，一个进程中可以有多段代码。本身不拥有资源（共享所在进程的资源）；在java中，程序入口被自动创建为主线程，在主线程中可以创建多个子线程。区别：是否占有资源问题创建或撤销一个进程所需要的开销比创建或撤销一个线程所需要的开销大。进程为重量...

一、数据结构中的栈和堆虽说我们经常把堆栈放在一起称呼，但是不可否认的是，堆栈实际上是两种数据结构：堆和栈。堆和栈都是一种数据项按序排列的数据结构。栈：就像装数据的桶或箱子，它是一种具有后进先出性质的数据结构。堆：一种经过排序的树形数据结构，每个结点都有一个值。通常我们所说的堆的数据结构，是指二叉堆。堆的特点是根结点的值最小（或最大），且根结点的两个子树也是一个堆。由于堆的这个特性，...

Java中可变参数方法J2SE 1.5中提供了Varargs机制，允许直接定义能和多个实参相匹配的形参。从而，可以用一种更简单的方式，来传递个数可变的实参。Varargs的含义大体说来，“Varargs”是“variable number of arguments”的意思。有时候也被简单的称为“variable arguments”，不过因为这一种叫法没有说明是什么东西可变，所以意义稍...

Scala中的文件操作文件读取在Scala中，如果只是简单的读取文件内容，可以有两种方法，第一是使用Java的API，第二种就是使用scala.io.Source模块。读取行import scala.io.Source;object Demo extends App { val filename = "/Users/Phoebe/Documents/haha...

Scala中的Option避免null使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。写Java程序的时候，经常会碰到没有有意义的东西可以返回，我们返回null。在Java 里，null 是一个关键字，不是一个对象，所以对它调用任何方法都是非法的。因此调用方必须检查返回值，不然会有NullPointerException的异常。...

Spark中的RDD基本操作前言RDD是spark特有的数据模型，谈到RDD就会提到什么弹性分布式数据集，什么有向无环图。这些知识点在别的地方介绍得非常多，本文就不去讲这些了。在阅读本文时候，大家可以就把RDD当作一个数组，或者一个Scala的collection对象，这样的理解对我们学习RDD的API是非常有帮助的。RDD的创建Spark里的计算都是操作RDD进行，那...

Spark中cache和persist的作用以及存储级别前言Spark开发高性能的大数据计算作业并不是那么简单。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此，想要用好Spark，就必须对其进行合理的性能优化。有一些代码开发基本的原则，避免创建重复的RDD，尽可能复用同一个RDD，如下...

Scala中的yield简介对于for循环的每次迭代，yield都会生成一个将被记住的值。就像有一个你看不见的缓冲区，for循环的每一次迭代都会将另一个新的值添加到该缓冲区。 当for循环结束运行时，它将返回所有已赋值的集合。返回的集合的类型与迭代产生的类型相同，因此Map会生成Map，List将生成List，等等。另外请注意，最初的集合没有改变。for / yield构造根据

scala中的隐式转换与隐式参数简介在scala语言中，隐式转换是无处不在的，它们存在固有的隐式转换，不需要人工进行干预。这是我们之前说的Scala类的继承情况，虚线标注出了Scala帮我们实现的隐式转化。例如Float在必要情况下自动转换为Double类型在 scala中的泛型编程的视图界定中我们也提到，视图界定可以跨越类层次结构进行，它背后的实现原理就是隐式转换。例

scala中的集合Scala的集合类可以从三个维度进行切分：可变与不可变集合（Immutable and mutable collections）静态与延迟加载集合 （Eager and delayed evaluation )串行与并行计算集合（Sequential and parallel evaluation ）可变与不可变集合[1]可变集合可以在适当的地方被更新或扩

Scala中的模式匹配前言模式匹配是一种scala中的一种函数式编程概念，也常常用于OOP中的一些多态实现，跟java、C++中的switch case或者正则表达式神似，但是试用范围更广。大家需要记住的是：Scala的模式匹配发生在但绝不仅限于发生在match case语句块中，这是Scala模式匹配之所以重要且有用的一个关键因素！match表达式match表达式始

Java中的String、StringBuffer和StringBuilder线程安全就是多线程访问时，采用了加锁机制，当一个线程访问该类的某个数据时，进行保护，其他线程不能进行访问直到该线程读取完，其他线程才可使用。不会出现数据不一致或者数据污染。 线程不安全就是不提供数据访问保护，有可能出现多个线程先后更改数据造成所得到的数据是脏数据。java.lang.String不可变

scala中的classOf、isInstanceOf、asInstanceOfScala的三个预定义(predefined)方法，我们经常用到。object PredefineTest{ def main(args: Array[String]): Unit = { val c : Char = 97.asInstanceOf[Char] "hello

Scala和Java中的Infinity和NaNInfinityi == i + 1，一个数字永远不会等于它自己加1？Java强制要求使用IEEE 754浮点数算术运算，它可以让你用一个double或float来表示无穷大。正如我们在学校里面学到的，无穷大加1还是无穷大。你可以用任何被计算为无穷大的浮点算术表达式来初始化i，例如：double i = 1.0 / 0.0

Overcoming type erasure in Scala原文来自Overcoming type erasure in Scala。本文旨在展示一些技术来解决由Scala泛型编程中的类型擦除引起的一些常见问题。介绍Scala有一个非常强大的类型系统，Scala是强类型语言。存在类型，结构类型，嵌套类型，路径依赖类型，抽象和具体类型成员，类型边界（(upper, lower,

scala中的一切皆对象单纯从面向对象的角度来看待scala，可以说scala就是一门纯面向对象的编程语言，因为在scala中，一切都可以看做是对象。这点和java是不同的，java中区分基本数据类型和引用类型。可以说scala比Java的面向对象理念还彻底！数字对象scala> 5210000 + 1 *1024 / 1res0: Int = 5211024scal

Scala中的泛型编程简介在Java或者C++里面，像列表（List）这些数据结构，在编写的时候，都不需要指定其中元素的类型，而是构造的时候指定，这一特性就称为泛型。同样，Scala中也提供了泛型，而且功能比Java的泛型更加强大。List strList = new ArrayList();strList.add("one");strList.add("two");st

Scala中的require和assertrequire和assert都用于在运行时执行某些检查来验证某些条件。那么他们的差别是什么呢？assert意味着你的程序已经达到了不一致的状态，这可能是目前的方法/函数的一个问题（我喜欢把它想成HTTP 500 InternalServerError）require意味着方法的调用者有问题，应该修复它的调用（我喜欢把它看作HTTP 400

Scala中的Any、Nothing、Null、NilAny在scala中，Any类是所有类的超类。Any有两个子类：AnyVal和AnyRef。对于直接类型的scala封装类，如Int、Double等，AnyVal是它们的基类；对于引用类型，AnyRef是它们的基类。Any是一个抽象类，它有如下方法：!=()、==()、asInstanceOf()、equals()、hash

Scala中的抽象类与特征抽象类Scala的抽象类跟Java的一样，不能被实例化。其中一些特性也与Java的抽象类非常类似。定义抽象类需要使用abstract在抽象类中，变量不使用就无需初始化，可以等到子类继承时再进行初始化。在抽象类中，抽象方法无需使用（也不能）用abstract进行修饰。 一个方法只要是没有它的实现（没有等号或没有方法体），它就是抽象的，在子类中覆写或者

Scala中的类摘要网络上很多资料讲得不清不楚的，有些甚至是片面的错误的，看语言应该是直接用翻译器将英文翻译成中文。所以依照着网上的一些说法和自己的实验重新将一些概念和定义讲解一些。scala编译器会自动为类中的字段添加getter方法和setter方法可以自定义getter/setter方法来替换掉编译器自动产生的方法用@BeanProperty注解来生成JavaBeans

Scala中的overrideoverride是覆盖的意思，在很多语言中都有，在scala中，override是非常常见的。在类继承方面，它和java不一样，不是可写可不写的了，而是必须写的。如果不写而覆盖了对应的属性或者方法的话，编译器就会报错了。基础用法/*基本的override特性*/object Testclass { class A {

高阶函数在计算机科学中，高阶函数是至少满足下列一个条件的函数:接受至少一个函数作为输入输出一个函数在数学中它们也叫做算子(运算符)或泛函。微积分中的导数就是常见的例子，因为它映射一个函数到另一个函数。高阶函数的例子假设有一个函数对给定两个数区间中的所有整数求和：def sumInts(a: Int, b: Int): Int = if(a > b) 0

递归一个函数直接或间接的调用它自己，就是递归了。例如，递归计算阶乘：def factorial(n: Int): Int = { if( n 1 ) 1 else n * factorial(n-1)}以上factorial方法，在n>1时，需要调用它自身，这是一个典型的递归调用。如果n=5，那么该递归调用的过程大致如下： factorial(5)

scala中的方法在OOP中，方法作用于对象，是对象的行为，在Scala中的方法也是如此。 方法定义定义方法的基本格式是：def 方法名称（参数列表）：返回值 = 方法体scala中方法的返回值默认是方法体重的最后一行表达式 的值，当然也可以用return来执行返回值，但scala并不推荐这么做。 def function1(param1: String, para

scala中的call-by-name和call-by-valuevar/def/val/lazy valdef：类似于每一次重新赋值，如果是用def定义函数，则是每一次重新获得一个函数，做call-by-name操作。val：获得一次，并立即执行，且在生命周期内不能再被修改，使用的是call-by-value操作。var：在生命周期内可以被再次赋值lazy val：惰性执行，

历史来源讲述历史来源，不喜欢的可以跳过。但是我个人认为这对理解有帮助。在计算机的世界中，有两位巨擘对问题的可计算性做了模型化描述[4]。一位是阿兰.图灵（Alan Turing），他提出的图灵机。计算机系的各种学科中都充斥着这个概念，假设有一个纸带和一个打孔机，然后有一套指令，能够控制打孔机在纸带上移动、能够读取当前位置是否打了孔、能够在当前位置打一个孔，这就是一个图灵机，假设一个问题

Non-Volatile Memory Databases背景新兴的存储技术提供像DRAM一样的低延迟读取/写入，但具有永久写入和大容量等类似SSD的特性。AKA存储级内存，永久内存最早的设备将是块地址（NVMe），但是基于块地址的设备并不被数据库研发人员所青睐，它的性能仅仅类似于一个更好更快的NAND flash内存。后来的设备，字节地址改变了人们设计操作系统结构的方

Larger-than-Memory Databases背景我们知道DRAM价格非常昂贵，且运行耗电量也非常大。那么当内存数据库存储的信息更大了之后，我们就希望使用更加便宜的存储设备，希望改善DRAM带来的一些不利条件。新技术因此就产生了Larger-than-Memory Databases这种技术。即，允许内存中的DBMS存储/访问磁盘上的数据，而无需重新引入面向磁

Vectorized Execution (Part II)上一次将的哥大的论文的矢量化算法在没有四五个SIMD寄存器的情况下是没法运行的。因为DBMS需要将64位的地址和64位的数据存入寄存器考虑到数据压缩技术，我们不能改变64位的地址，但是我们不一定要全部存储64位的数据。这样产生的问题是，压缩数据的位宽不一定自然地适合SIMD寄存器插槽。如你压缩前128位的寄存器存储了4个32位

Vectorized Execution (Part I)说实话，这节课有点没听明白。上节课说到了通过矢量化来加速查询的优化，需要这么做的原因是：构建一个DBMS是非常难的一件事情DBMS中有很多的问题需要去克服新的CPU加速效果不明显，所以必须想别的办法来提升效果硬件方面一般来说，现在用的CPU主要分为两种MULTI-CORE CPUS使用少量高功率内

Query Compilation背景对于in-memory数据库，因为所有的数据都在内存之中，所以很多其他影响速度的因素（如磁盘IO等）都消失了，所以提高吞吐量的唯一方法是减少执行的指令数量。提高十倍速度，DBMS需要减少90%的指令提高百倍速度，DBMS需要减少99%的指令我们可以通过code specialization来实现这种指令数量的减少。即，通过生成DBMS

Parallel Join Algorithms (Sorting)背景关于Join的其他背景可以查看上一篇讲Hash Join的文章。SINGLE INSTRUCTION, MULTIPLE DATA (SIMD)有一系列的CPU指令允许处理器同时在多个数据点上执行相同的操作。目前的AMD和Intel CPU均具有ISA和微体系结构，支持SIMD操作。优点：

Parallel Join Algorithms (Hashing)背景我们在执行Join操作的时候，肯定会使用多线程。但是这些多线程不是完全独立运行的，因为你需要在进入下一个阶段前将这一个阶段的所有数据处理完，而不能让一个线程先进入下一个阶段。所以如何设计Join算法来减少overhead就是非常关键的事情了。这篇文章我们将介绍Hash Join的算法，下片文章介绍的是Sort-

原文地址：github.com/donnemartin/system-design-primer 译文地址：系统设计入门 译文出自：掘金翻译计划 译者：XatMassacrE、L9m、Airmacho、xiaoyusilen、jifaxu 这个 链接 用来查看本翻译与英文版是否有差别（如果你没有看到 README.md 发生变化，那就意味着这份翻译文档是最新的）。 系

数据库设计的非正统方法：Shard的来临关于Shard和Partition的区别，大家可以看看What’s the difference between sharding DB tables and partitioning them?以及Database sharding Vs partitioning。简单而言，就是通常意义上的Partition是在本地数据上的分片，Shard是在多台

可扩展性基础现在您已经设计了一个可靠的抽象体系结构，下一步就是将其扩展。如果你从来没有建立过大规模的系统，这个任务看起来有点令人生畏。除了接下来的一个视频和四篇博文的翻译，你也可以看看An Unorthodox Approach To Database Design : The Coming Of The Shard可扩展的Web开发视频地址 课件地址比较建议看一看视

Query Execution & Scheduling对于数据库系统，交互模式大致如上。前端有多个用户，也就是多个应用程序来访问后端。后端则发送逻辑查询给DBMS，DBMS得到SQL语句或者其他方式的逻辑查询之后，将之转化为物理查询，得到数据后再返回给后端。查询计划一个查询计划是由多个操作组成的。比如，SELECTION，JOIN等等。一个操作对应到具体的物理查询操作

技术面试的系统设计题（一）本文为课程翻译和学习笔记，课程地址System Design for Tech Interviews。 关于课后题，这儿就不公布答案了。应该还是比较简单的。什么是系统设计题在面试的时候，面试官经常会让我们设计一些系统，比如：设计一个像bit.ly一样的URL缩短服务。你将如何实现谷歌搜索？设计一个C/S应用程序，允许人们互相下棋。如何将关系存

Optimizer Cost Models我们在上两次讲查询优化文章中，提到了基于成本的查询计划，它们为数据库的当前状态生成执行特定查询计划的查询成本估计。查询成本与我们上一节课讨论的优化器搜索查询策略的方式无关。就像二维平面上的最短路模型（不同的最短路算法，如Dikstra、Floyd）与它采用的距离模型（曼哈顿距离、欧氏距离、切比雪夫距离）无关。那么这节课就是讲解不同的估价模型。

CAP原则CAP原则1985年Lynch证明了异步通信中不存在任何一致性的分布式算法（FLP Impossibility）的同时，人们就开始寻找分布式系统设计的各种因素。一致性算法既然不存在，但若能找到一些设计因素，并进行适当的取舍以最大限度满足实现系统需求成为当时的重要议题。比如，在CAP之前研究者就已经发现低延迟和顺序一致性不可能同时被满足。2000年，Eric Brewer教

Optimizer Implementation(Part II)在这儿解释一下，逻辑查询计划或者逻辑计划指的是关系代数层面的查询语句；物理查询计划或者物理计划指的是具体查询层面的查询算法，具体到每一个JOIN的算法选择，每一个SELECT操作的算法实现（scan或者index）。瀑布模型（Cascades）分层搜索（STRATIFIED SEARCH）首先使用转换规则重写

Optimizer Implementation(Part I)背景在讲述这个优化器的时候，就必须先了解查询过程。在本系列的数据库四：浅谈数据库查询过程（Query Processing）中大致地说明了一下数据库的查询过程，但是没提到查询优化器的具体策略与实现。对于查询而言，我们期望优化器的作用是找到最小代价的正确执行方案。但是这是一个NP完全问题，所以没有一个优化器能够真正地找到

Checkpoint Protocols背景日志允许DBMS在崩溃/重新启动后恢复数据库。 但是这个系统每次都要重做整个日志。检查点允许系统忽略大部分日志以减少恢复时间，就像存档点一样。理想的检查点应该具有：不能减慢常规事务的处理速度。不能引入不可接受的延迟峰值。不能要求过多的内存。CONSISTENT VS. CHECKPOINTS方法1：一致的检查点

Logging ProtocolsLogging Schemes恢复算法日志一般与系统恢复有关，恢复算法是确保数据库一致性、原子性和持久性（尽管事务失败）的技术。恢复算法有两个部分：正常txn处理期间的操作，以确保DBMS可以从故障中恢复。无法将数据库恢复到确保原子性，一致性和持久性的状态之后的操作。日志方案有两种日志方案物理日志记录 记录对数

数据库十二（2）：HIVE文件存储格式昨天在看HIVE的时候，突然发现HIVE的文件存储对数据的压缩刚好是前天看的数据库压缩的内容。所以刚好可以拿出来讲一下。TextFileHive默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2、Snappy等朴素压缩算法使用（系统自动检查，执行查询时自动解压），但使用这种方式，hive不会对数据进行切分，从

Database Compression背景如果数据库需要从硬盘中获得数据，那么数据的I/O操作才是数据库的瓶颈。所以需要对数据进行压缩。内存中的数据库管理系统比较复杂。压缩数据库降低了DRAM的性能要求和处理时间。DRAM不仅价格贵，而且在运行且维护的代价也非常大。关键在于如何平衡速度和压缩率之间的关系。在内存数据库中，按照老师的说法，总是选择速度而不是压缩率。也就是说，如果

存储模型和数据布局（Storage Models & Data Layout）对于内存数据库而言，它的结构大致如下可以将之理解为一个大的数组，通过索引（或者直接扫描全部内存）得到所需要的值和存储地址，则通过页和页偏移等信息找到需要的数据。如果页面是不定长的数据块，可能需要做一个二次指针才可以。类型表示INTEGER/BIGINT/SMALLINT/TINYINT C

OLAP Indexes对于传统的分析数据库结构大致如下OLTP数据库保持相互独立，然后将需要的数据传输到OLAP数据库。OLAP Schemas决策支持系统（DECISION SUPPORT SYSTEMS）为组织的管理，运营和计划层面提供帮助的人通过分析历史数据来帮助人们做出有关未来问题和问题的决策的应用程序。大数据的起源就是这儿。STAR SCHE

不需要锁和闩的索引（Latch-free OLTP Indexes Part II）Bw-Tree Index对于并发的跳表而言，我们不能在无锁的情况下有反向指针，因为CaS一次只能更新一个地址。这个数据结构是微软在2010年左右做的，一开始微软想用的是Skip List，但是因为Skip List的限制，他们就设计了Bw-Tree。现在用Skip List的数据库，老师知道的只有

不需要锁和闩的索引（Latch-free OLTP Indexes Part I）T-TreesT-Trees 是一种基于AVL树的数据结构，它的设计是人们针对内存数据库做的优化。不像B-Trees 系列在硬盘上那样存储大量的信息，包括索引、值等等，T-Trees 利用了所有数据都已经在内存中的这个条件，它存储的是指向数据的指针。这样可以有效地减少overhead，具有较高的节点空

索引的锁和闩(Locking & Latching)索引的锁和闩索引作用一种能够加快数据检索速度的数据结构，但是会占用额外的读写维护操作和存储空间。索引实现B树系列、哈希表等等。这些别的地方说的比较多，我就不多提了。索引锁对于之前疏文章中提到的那些并发控制、多版本控制等，我们知道了如何使用锁来保护数据库的数据。但是对于索引，我们需要用别的方式和方法来

多版本并发控制Multi-Version Concurrency Control基础理解事务T1改变数据V1，将其改为数据V2，在堆中，数据如下图事务T3改变了V2，将其改为V3，在堆中，数据如下图：目前事务T2还在活动中，所以V1和V2属于recently dead状态，而不是真的dead状态。从可视性而言，事务T0只能看到数据V1。因为它早于事务T1启动。事

在NYU上了Machine Learning，学到了一些以前没有注意或者不知道的知识。在原有部分博文的基础上进行更详细地讲解。关于回归算法的Bias和Variance加深了对误差理论的理解。对于一个输入为x⃗ \vec x的回归算法，我们设算法输出的预测函数为g(x)g(x)，算法的真正分类函数为f(x)f(x)。我们期望的就是让g(x)g(x)尽可能地与f(x)f(x)靠近。我们将f(x)f(x)

Robert算子，之前被用到了图像增强中的锐化，原因是作为一阶微分算子，Robert简单，计算量小，对细节反应敏感。算子对边缘检测的作用是提供边缘候选点，Robert算子相比于其他3x3算子，在不经过后处理时，可以给出相对较细的边缘。算子介绍以下坐标新采用的是i,ji, j坐标系，其中i=−y,j=xi = -y, j = x。Robert算子的形式是Gi≅−1001 Gj≅01−10G_i \co

噪声噪声表现形式噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般，噪声信号与要研究的对象不相关，它以无用的信息形式出现，扰乱图像的可观测信息。通俗的说就是噪声让图像不清楚。噪声对数字图像的影响对于数字图像信号，噪声表为或大或小的极值，这些极值通过加减作用于图像像素的真实灰度值上，对图像造成亮、暗点干扰，极大降低了图像质量，影响图像复原、分割、特征提取、图像识别等后继工作的进行。高斯噪

Memory GameThe game of Memory is played with NN pairs of cards where each pair has the same picture, i.e. there are NN different pictures, and each of them appear on exactly two cards.The cards are shu

正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。为了防止overfitt

dropout是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。注意是暂时，对于随机梯度下降来说，由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。过拟合是深度神经网（DNN）中的一个常见问题：模型只学会在训练集上分类，这些年提出的许多过拟合问题的解决方案，其中dropout具有简单性而且效果也非常良好。算法概述我们知道如果要训练一个大型的网络，而

前言在web开发中， 你可能会遇到下面这种场景: 在用户完成某个操作后， 自动去执行一些后续的操作. 譬如用户完成修改密码后， 你要发送一份确认邮件.当然可以把逻辑写在一起，但是有个问题是，触发操作一般不止一种(如用户更改了其它信息的确认邮件)，这时候这个逻辑会需要写多次，所以你可能会想着DRY(Don’t repeat yourself)，于是你把它写到了一个函数中，每次调用。当然这是