Abner

博观而约取,厚积而薄发,不可择焉不精,语焉不详!

排序:
默认
按更新时间
按访问量

Batch Normalization(BN)

优点Batch Normalization(BN)有什么优点?BN的优点是多个并存,这里只提一个个人认为最容易理解的优点和其原因。训练时的问题尽管在讲解神经网络概念的时候,神经网络的输入指的是一个向量 。但在实际训练中有下面的训练方式:随机梯度下降法(Stochastic Gradient De...

2018-01-16 14:49:13

阅读数:157

评论数:0

隐马尔科夫模型前向后向算法

本文是自己学习隐马尔科夫模型的一个总结,为了自己以后方便查阅,也算作是李航老师的《统计学习方法》的一个总结,若有疑问,欢迎讨论。推荐阅读知乎上Yang Eninala写的《如何用简单易懂的例子解释隐马尔可夫模型?》,写的非常好。我会联系两者,来作为自己的一篇学习笔记。隐马尔可夫模型: 隐马尔可夫模...

2017-09-13 12:09:56

阅读数:438

评论数:0

一文总结条件熵、交叉熵、相对熵、互信息

条件熵:H(Y|X)表示在已知随机变量X的条件下,随机变量Y的不确定性,H(Y|X)定义为:举个例子:有一堆西瓜,已知这堆西瓜的色泽,以及每种色泽对应好瓜和坏瓜的个数,如下所示,设X表示色泽,Y表示好瓜或者坏瓜。则:这个例子就是计算条件熵的一个过程,现在证明条件熵公式:有很多书上的条件熵是这么定义...

2017-09-07 22:13:40

阅读数:1286

评论数:0

彻底理解样本方差为何除以n-1

设样本均值为,样本方差为,总体均值为,总体方差为,那么样本方差有如下公式:    很多人可能都会有疑问,为什么要除以n-1,而不是n,但是翻阅资料,发现很多都是交代到,如果除以n,对样本方差的估计不是无偏估计,比总体方差要小,要想是无偏估计就要调小分母,所以除以n-1,那么问题来了,为什么不是除以...

2017-09-06 00:10:35

阅读数:23452

评论数:5

如何理解用信息熵来表示最短的平均编码长度

之前弄明白了信息熵是什么,由于信息熵来源于信息论,要怎么才能跟编码联系起来呢?这个问题当时没有想明白,今天查了一下资料,理解了一下,做笔记整理一下,如有错误欢迎指正。如果信息熵不明白的请看这里:http://blog.csdn.net/hearthougan/article/details/761...

2017-09-01 23:27:31

阅读数:430

评论数:1

网易疯狂队列

题目来源:题目描述:小易老师是非常严厉的,它会要求所有学生在进入教室前都排成一列,并且他要求学生按照身高不递减的顺序排列。有一次,n个学生在列队的时候,小易老师正好去卫生间了。学生们终于有机会反击了,于是学生们决定来一次疯狂的队列,他们定义一个队列的疯狂值为每对相邻排列学生身高差的绝对值总和。由于...

2017-08-17 22:18:05

阅读数:490

评论数:0

白话信息熵

距离有近有远,时间有长有短,温度有高有低,我们知道可以用米或者千米来度量距离,用时分秒可以来度量时间的长短,用摄氏度或者华氏度来度量温度的高低,那么我们常说这个信息多,那个信息少,那么信息的多少用什么度量呢?熵! 信息量是了解一个未知事物需要查询的

2017-08-04 03:19:58

阅读数:450

评论数:0

朴素贝叶斯分类器

分类器就是根据某一事物一系列特征来判断该事物的类别,。其实原理很简单,并不需要什么复杂的训练结构,复杂只是计算量,这个交给计算机即可,所以懂了原理,朴素贝叶斯分类器也就掌握了。先不写理论,以例子开始,希望能说的浅显易懂。 一、西瓜的好坏 这里是要借鉴周志华老师书中西瓜的例子,这个例子也是我所看到的...

2017-07-27 15:26:12

阅读数:576

评论数:0

浅谈全概率公式和贝叶斯公式

一、条件概率公式 条件概率由文氏图出发,比较容易理解: 表示B发生后A发生的概率,由上图可以看出B发生后,A再发生的概率就是,因此: 由: 得: 这就是条件概率公式。 假如事件A与B相互独立,那么: 注: 相互独立,两个事件表示成文氏图,也可以画成上图形式,相互独立:表示两个...

2017-07-15 16:25:56

阅读数:2549

评论数:3

Python 批量处理文件

把一个文件下有许多文件夹,并且其中每个文件中又有很多文件(如下图),现需批量把这些文件,全部取出来放到另外指定的文件夹下。

2017-07-13 12:57:39

阅读数:331

评论数:0

ubuntu 命令安装 beyond compare

安装beyond compare: wget http://www.scootersoftware.com/bcompare-4.1.9.21719_amd64.deb sudo apt-get update sudo apt-get install gdebi-core sudo g...

2017-07-06 16:17:01

阅读数:2030

评论数:0

Linux下安装任意版本的tensorflow命令

终端或命令行下输入:     sudo pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.12.1-cp27-none-linux_x86_64.whl 上述只是一个样例,...

2017-07-05 12:02:13

阅读数:4307

评论数:0

隐马尔科夫模型HMM自学

崔晓源 翻译 我们通常都习惯寻找一个事物在一段时间里的变化规律。在很多领域我们都希望找到这个规律,比如计算机中的指令顺序,句子中的词顺序和语音中的词顺序等等。一个最适用的例子就是天气的预测。 首先,本文会介绍声称概率模式的系统,用来预测天气的变化 然后,我们会分析这样一个系统,我们希望预测的...

2017-06-20 15:27:24

阅读数:405

评论数:0

卷积神经网络反向传播理论推导

本文首先简单介绍CNN的结构,并不作详细介绍,若需要了解推荐看CS231n课程笔记翻译:卷积神经网络笔记。本文只要讲解CNN的反向传播,CNN的反向传播,其实并不是大多所说的和全连接的BP类似,CNN的全连接部分的BP是与它相同,但是CNN中卷积--池化、池化--卷积部分的BP是不一样的,仔细推导...

2017-06-08 10:44:25

阅读数:8111

评论数:16

人工神经网络

一、神经网络的模型: 图1 两层全连接神经网络模型     这个是一个带有两个全连接层的神经网络,神经网络,一般不把输入层算在层数之中。 1、神经元: 图2 神经元的数学模型     从单个神经元来看,每个神经元可以看做是一个感知机,可以用来做决策,从图中可以看出,根据输入的线性组合,经过...

2017-05-24 23:45:16

阅读数:3425

评论数:0

numpy.transpose()

numpy.transpose()是对矩阵按照所需的要求的转置,比较难理解,现以例子来说明: import numpy as np a = np.array(range(30)).reshape(2, 3, 5) print ("a = ") print (a) prin...

2017-05-22 15:39:15

阅读数:8225

评论数:2

线性分类器-KNN、多类SVM、Softmax

本文只是记录一下实现的代码,具体的思想还请看cs231n的课程笔记,其讲解的非常好,智能单元翻译的也很不错。 一、CIFAR-10数据集: 图1 CIFAR-10示例 二、KNN 图2 KNN分类器示例   如图所示,K的取值不同得出来的分类结果也可能是不同的,因此需要对k进行寻参,找出在...

2017-05-11 16:22:52

阅读数:709

评论数:0

python nditer---迭代数组

迭代对象nditer提供了一种灵活访问一个或者多个数组的方式。 单个数组的迭代(Single Array Iteration): 迭代器最基本的任务的可以完成对数组元素的访问,迭代器接口可以一个接一个地提供的每一个元素。 例如: a = np.arange(6).reshape(2, 3) for...

2017-05-06 20:47:23

阅读数:3391

评论数:0

numpy.random

1、numpy.random.rand(d0, d1, ....dn):     生成指定形状的数组,其元素值是在均匀分布[0, 1]之间随机生成,其中d0, ...dn表示的是数组的大小,如果不指定大小,默认返回一个随机数值。数组默认的返回类型是float. 例如: w0 = np.ran...

2017-05-06 19:05:15

阅读数:421

评论数:0

Python 爬虫笔记(2)

我们如何使用Python而不是浏览器,利用有道翻译,来翻译文本?   我们首先打开有道,右键,点击“检查”,或者“审查元素”,我们可以看到网页的源代码,如图1所示:   我们点击network,如图2:   找到translate?....如图3,然后点击:   然后在点击prev...

2017-03-30 00:03:38

阅读数:397

评论数:0

Python 爬虫笔记(1)

import urllib.request 访问网址,打开网页,方法: urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 其...

2017-03-29 23:41:47

阅读数:572

评论数:0

Python 画二维和三维散点同心圆

我们利用Python先画二维的散点圆:   我们的圆上的点,采取圆的参数方程来取。我们根据取theta的步长来决定圆上的散点的松散度。 import numpy as np import matplotlib.pyplot as plt r = 1.0 a, b = (0., 0.) th...

2017-03-29 23:13:03

阅读数:1734

评论数:0

开关电灯(济南联通面试题)

今天有个同学面试联通问了我一个面试题,貌似这个题当过很多面试题,不难,随手记录一下吧。 题目描述:     有N个灯放在一起,从1到N依次顺序编号,有N个人也从1到N依次编号。1号将灯全部熄灭,2号将,凡是2的倍数的灯打开;3号将凡是3的倍数的灯作相反处理(该灯如为打开,则将他关闭;如果关闭,...

2017-03-16 22:48:27

阅读数:202

评论数:0

支持向量机(SVM)(四)----SMO

我们前几节说了线性可分,以及在低维线性不可分,但是在高维是线性可分的。还有一种情况,如下图:     这种因奇异点而造成的划分平面不合理的移动,不是我们所想的,或者因为个别奇异点导致线性不可分,其余的大部分的点都是线性可分的,如果因此 就映射到高维来解决,那么也不值当,如下的情况:    ...

2017-03-07 01:07:02

阅读数:594

评论数:0

支持向量机(SVM)(三)----核函数及正则化

上一节最后我们说到我们根据求得的,可求得,,然后求出决策函数,但是我们知道: 是的函数,我们也许不必把带入上式来求解,我们直接把上式带入决策函数可有:     假如我们已经求得最优的,在作出预测的时候,我们可以只进行输入数据x与训练样本的内积即可。在转化为对偶条件的时候,我们知道要满...

2017-03-07 01:06:16

阅读数:1823

评论数:0

支持向量机(SVM)(二)----对偶

==============================================     本文根据Andrew NG的课程来梳理一下svm的思路。如有错误,欢迎指正。 ==============================================     上小节,我们...

2017-03-07 01:04:28

阅读数:398

评论数:0

支持向量机(SVM)(一)----介绍SVM

=========================================     本文根据Andrew NG的课程来梳理一下svm的思路。如有错误,欢迎指正。 ==============================================     支持向量机(Support...

2017-03-07 01:01:23

阅读数:574

评论数:0

KNN算法及其实现

K-邻近算法(k-NearestNeighbor,KNN),存在某一样本集,已经知道样本和对应的类别,当输入一个没有类别标识的数据时,找出与其“最相似”的K个样本,在这k个样本中,哪个类别的样本个数最多,我们就把该未知数据的类别归为此类。其中的相似性,可以利用距离来度量,而衡量距离的方法,可以是欧...

2017-03-04 22:55:20

阅读数:903

评论数:0

python sort、sorted高级排序技巧

这篇文章主要介绍了python sort、sorted高级排序技巧,本文讲解了基础排序、升序和降序、排序的稳定性和复杂排序、cmp函数排序法等内容,需要的朋友可以参考下 Python list内置sort()方法用来排序,也可以用python内置的全局sorted()方法来对...

2017-03-04 22:42:23

阅读数:382

评论数:0

主成分分析(PCA)

当我们研究某个问题的时候,该问题有很多个变量,而且某些变量与变量之间存在一定的相关关系,如果两个变量存在相关关系,那么这两个变量之间存在着重叠信息,而这就造成了数据的冗余。比如一群学生,Boy和Girl,他们的性别我们可以用二维数组来表示,对于某个学生,Boy 可表示成:[1][0],Girl可表...

2017-03-03 22:55:52

阅读数:316

评论数:0

反向传播算法(BackPropagation,BP)

本文参考《神经网络和深度学习》,旨在说明BP算法是怎样的一个过程。在一个多层的神经网络中,反向传播算法就是不断的学习这个网络的权值和偏值,采用梯度下降法使得该神经网络的输出值与真实的目标值之间的误差最小。   1,那么为什么更新权值和偏值可以使得代价函数最小化呢?   2,以及如何更新权值和偏值呢...

2017-02-20 11:45:00

阅读数:1890

评论数:0

什么是P问题、NP问题和NPC问题

这或许是众多OIer最大的误区之一。   你会经常看到网上出现“这怎么做,这不是NP问题吗”、“这个只有搜了,这已经被证明是NP问题了”之类的话。你要知道,大多数人此时所说的NP问题其实都是指的NPC问题。他们没有搞清楚NP问题和NPC问题的概念。NP问题并不是那种“只有搜才行”的问题,NPC问题...

2017-01-10 20:42:33

阅读数:327

评论数:0

动态规划之详细分析0-1背包问题

题目:   有 N 件物品和一个容量为 V 的背包。第 i 件物品的费用是 w[i],价值是 p[i]。求解将哪些物品装入背包可使这些物品的费用总和不超过背包容量,且价值总和最大。   本文按照动态规划的标准模式解析:http://blog.csdn.net/hearthougan/article...

2016-12-26 01:50:32

阅读数:12751

评论数:7

动态规划总结

动态规划(Dynamic Programming, DP)思想启发于分治算法的思想,也是将复杂问题化解若干子问题,先求解小问题,再根据小问题的解得到原问题的解。但是DP与分治算法不同的是,DP分解的若干子问题,往往是互相不独立的,这时如果用分治算法求解,那么会对重叠子问题重复进行求解,从而使得浪费...

2016-12-20 04:00:18

阅读数:3821

评论数:0

Logistic Regression-逻辑回归

logistic回归分类的主要思想:根据现有的数据对分类边界线建立回归公式,以此分类,这里“回归”源于最佳拟合,表示要找到最佳拟合参数集。训练分类器时就是寻找最佳拟合参数。   Sigmoid函数:   Sigmoid函数的输入记为z,且,向量W就是我们要寻找的参数,向量X是分类器的输入数据。 ...

2016-11-06 21:10:55

阅读数:772

评论数:3

最大似然估计

首先看两个例子:   例1:天上有乌云,问那么下雨的概率是多少?这是一个条件概率,也称为后验概率;如果现在正在下雨,那么天上有乌云的概率是多少?这就是似然,由结果去找原因。   例2:有两个人去打一只正在吃草的鹿,一个是猎手,另一个是菜鸟,砰一声,鹿死了,那么谁最有可能打死这只鹿?这就是最大似...

2016-11-06 12:10:18

阅读数:657

评论数:0

ID3decision tree-ID3决策树实现

创建简单的数据集: 根据下图创建数据集:   图表的意思是:表中5个海洋动物,特征包括两个:1、不浮出水面是否可以生存,2、是否有脚蹼。我们可以将这些动物分成两类: 鱼类和非鱼类。 #create data set and lebels def CreateDataset(): da...

2016-11-03 14:12:14

阅读数:830

评论数:0

K-Means聚类算法原理及实现

由于个人理解有限,难免有错误之处,欢迎指正。 k-means 聚类算法原理:     1、从包含多个数据点的数据集 D 中随机取 k 个点,作为 k 个簇的各自的中心。     2、分别计算剩下的点到 k 个簇中心的相异度,将这些元素分别划归到相异度最低的簇。两个点之间的相异度大小采用欧氏距离公式...

2016-10-26 11:54:49

阅读数:4759

评论数:0

Python基础语法笔记--xrange()与range()的区别、map、filter、reduce分析、lambda表达式

xrange与range的区别     在for循环中使用xrange与range函数,利用help函数,查的他们的用法如下: range: range(...) range(stop) -> list of integers range(start, stop[, step...

2016-10-13 12:44:13

阅读数:798

评论数:0

Google 开源项目风格指南--C++ 风格指南

文档转自:http://zh-google-styleguide.readthedocs.io/en/latest/google-cpp-styleguide/naming/ 6. 命名约定 最重要的一致性规则是命名管理. 命名风格快速获知名字代表是什么东东: 类型? 变量? 函数? 常量?...

2016-09-13 15:25:19

阅读数:448

评论数:0

vs debug 调试 快捷键

F1:在线帮助 Ctrl+F:查找与替换 F3: 查找下一个 Shift+F3: 查找上一个 F4:属性 Ctrl+F4:关闭当前窗体 F6: 生成解决方案 Ctrl+F6: 生成当前项目 F7: 查看代码 Shift+F7: 查看窗体设计器 F5: 启动调试 C...

2016-08-05 11:17:49

阅读数:594

评论数:0

Windows下PING程序实现

跟着网上的代码试着敲了一遍,熟悉Ping的过程。 Ping.h //Ping.h //Define the header of IP and ICMP #pragma pack(1) #define ICMP_ECHOREPLY 0 #define ICMP_ECHOREQ 8 typedef ...

2016-06-12 14:33:24

阅读数:1852

评论数:1

端到端可用带宽变化范围估计

论文出处:http://download.csdn.net/detail/hearthougan/9504057     以往测量可用带宽只是估计平均可用带宽,却忽略了这种度量方式在不同时间范围内的会有显著的变化。而该算法思想展示了如何在用户规定的时间范围内估计某一可用带宽的分布。如果两个估计的...

2016-06-12 14:13:28

阅读数:891

评论数:0

TCP、UDP、IP 协议分析

互连网早期的时候,主机间的互连使用的是NCP协议。这种协议本身有很多缺陷,如:不能互连不同的主机,不能互连不同的操作系统,没有纠错功能。为了改善这种缺点,大牛弄出了TCP/IP协议。现在几乎所有的操作系统都实现了TCP/IP协议栈。 TCP/IP协议栈主要分为四层:应用层、传输层、网络层、...

2016-05-24 14:07:52

阅读数:439

评论数:0

#if, #elif, #else, #endif 使用

有些程序在调试、兼容性、平台移植等情况下可能想要通过简单地设置一些参数就生成一个不同的软件,这当然可以通过变量设置,把所有可能用到的代码都写进去,在初始化时配置,但在不同的情况下可能只用到一部分代码,就没必要把所有的代码都写进去,就可以用条件编译,通过预编译指令设置编译条件,在不同的需要时编译不同...

2016-05-18 13:33:37

阅读数:372

评论数:0

std::string用法总结

在平常工作中经常用到了string类,本人记忆了不好用到了的时候经常要去查询。在网上摘抄一下总结一下,为以后的查询方便: string类的构造函数: string(const char *s); //用c字符串s初始化string(int n,char c); //用n个字符c初...

2016-05-17 09:11:14

阅读数:444

评论数:0

HTTP报文

HTTP报文三个组成部分:对报文描述的起始行、包含属性的首部块、包含数据的主体(body)。 HTTP规范中说明起始行和首部以CRLF表示终止。 报文的语法:   所有HTTP报文都可以分成两类:请求报文(request message)和响应报文(response message)。请求报文会...

2016-05-04 17:00:43

阅读数:3240

评论数:0

套接字原理----socket

运行在不同机器上的进程彼此通过向套接字发送报文来进行通信。每个进程好比是一座房子,进程的套接字就好比是一个门。套接字是应用进程和TCP之间的门,应用程序开发者可以控制套接字的应用层那一侧所有的东西,但是不能控制运输层那一侧。   服务器为了能对客户机程序发起连接作出响应,应满足:   第一、服务器...

2016-04-28 17:19:48

阅读数:11790

评论数:1

网络层(1)

转发和选路 路由器的主要作用:便是将数据报从入链路转发到出链路。 网络层的作用是:将分组从一台发送主机移动到一台接收主机。为此需要两种重要的网络层功能: 转发:将分组从一个输入链路接口转移到适当的输出链路接口的路由器本地动作。 选路:分组从源到目的地时,决定端到端路径的网络范围的进...

2016-04-25 17:38:01

阅读数:6003

评论数:0

TCP拥塞控制原理

TCP拥塞控制原理: TCP使用的是端到端的拥塞控制而不是网络辅助的拥塞控制,因为IP曾不想端系统提供显示的网络拥塞反馈。 TCP采用的方法是让每一个发送方根据所感知到的网络拥塞的程度,来限制其能向连接发送流量的速率。 这种方法有三个问题:   一个TCP发送方是如何限制向连接发送流量的...

2016-04-24 00:16:46

阅读数:5709

评论数:1

提示
确定要删除当前文章?
取消 删除
关闭
关闭