Zhang's Wikipedia

玩就玩大的

深度学习基础(九)—— 稀疏编码(sparse coding)

稀疏编码算法是一种无监督学习方法,它用来寻找一组“超完备”基向量来更高效地表示样本数据。稀疏编码算法的目的就是找到一组基向量 (自然图像的小波基?)ϕi\mathbf{\phi}_i ,使得我们能将输入向量 x\mathbf{x} 表示为这些基向量的线性组合: x=∑i=1kaiϕi \math...

2016-04-30 10:00:05

阅读数:4512

评论数:0

【笔试/面试】—— 数学找规律题

所谓找规律其实是寻找一个函数 f(x)f(x),一个映射。 题目 1:7 or 22已知: 3 + 4 ⇒ 19, 5 + 6 ⇒ 41, 问 1 + 3 ⇒ ?题目的解不唯一: (1) 解法 1(3+4)=(3+4+3*4) ⇒ 19 (5+6)=(5+6+5*6) ⇒ 31 ...

2016-04-30 08:24:59

阅读数:4025

评论数:0

机器学习、深度学习教程和代码资源帖

深度学习 (1)UFLDL教程中文版 UFLDL教程 英文版 UFLDL Tutorial实现代码:UFLDL-Tutorial-Exercise 随笔分类 - 机器学习 (2)matlab toolboxDeepLearnToolbox

2016-04-29 16:45:37

阅读数:988

评论数:0

Python 源码剖析(二)—— 第一次修改 Python 源代码

对于输出信息,使用 printf 最为简单。但是 printf 要输出 Python 中的某个对象却不是那么方便,幸好 Python 的 C API 提供了一个输出对象的接口: object.h(在 pythoncore ⇒ Include)PyAPI_FUNC(int) PyObject_Pri...

2016-04-29 15:59:27

阅读数:2112

评论数:0

Python 源码剖析(一)—— vs2013 编译 python 源码

参考 windows环境下编译python准备 VS 2013(其实 vs 版本编译的差异不大,设置也基本相同) python 源码文件: Python-2.7.3.tgz 编译 (1)解压 Python-2.7.3.tgz (2)进入 Pcbuild 文件夹,使用 vs 2013 打开 p...

2016-04-29 15:32:32

阅读数:3015

评论数:7

深度学习基础(八)—— 稀疏自编码器

自编码器神经网络尝试学习一个: hW,b(x)≈x h_{W,b}(x)\approx x 的函数,换句话说,它尝试逼近一个恒等函数(identity function,或叫证同函数),使得输出 x^\hat x 接近于输入 xx。恒等函数虽然看上去不太有学习的意义,但是当我们为自编码神经网...

2016-04-29 11:10:44

阅读数:789

评论数:0

机器学习基础(五十九)—— 高级优化算法(梯度下降、L-BFGS、共轭梯度)

优化算法两大核心,一曰:方向,比如由负梯度方向给出;二曰:步长。 迄今为止,我们的讨论都集中在使用梯度下降法来最小化 J(θ)J(\theta)。如果你已经实现了一个计算 J(θ)\textstyle J(\theta) 和 ∇θJ(θ)\textstyle \nabla_\theta J(\th...

2016-04-29 10:20:28

阅读数:1336

评论数:0

机器学习算法的调试 —— 梯度检验(Gradient Checking)

反向传播算法很难调试得到正确结果,尤其是当实现程序存在很多难于发现的bug 时。举例来说,索引的缺位错误(off-by-one error)会导致只有部分层的权重得到训练(for(i=1; i<=m; ++i) 被漏写为 for(i=1; i<m; ++i)),再比如忘记计算偏置项。这...

2016-04-29 09:19:11

阅读数:7537

评论数:1

深度学习实践指南(三)—— 参数(超参)及数据集的处理

(1)maximum number of epochs (2)learning rates (3)network architecture

2016-04-29 00:09:21

阅读数:1039

评论数:0

极简代码(三)—— 向量加法

Python 中的 Map-Reduce 函数式编程的利器。 Python 中的 map 函数第一个参数接受函数对象,其他参数可以任意长度,作为可变参数。import operatordef vector_add(v1, v2): return map(operator.add, v1, ...

2016-04-28 23:08:14

阅读数:448

评论数:0

深度学习基础(七)—— Gibbs 采样

仅知道概率密度是不狗的,需要的是样本,gibbs sampling 就是获取样本的。 Gibbs 抽样是一种基于 MCMC(Markov Chain Monte Carlo)策略的抽样方法,具体来说对于一个 dd 维的随机向量 X=(x1,x2,…,xd)X=(x_1,x_2,\ldots,x_d...

2016-04-28 22:11:13

阅读数:2755

评论数:1

【笔试/面试】—— Linux 查看 cpu 和内存使用情况

在系统维护的过程中,随时可能有需要查看 CPU 使用率,并根据相应信息分析系统状况的需要。在 CentOS 中,可以通过 top 命令来查看 CPU 使用状况。运行 top 命令后,CPU 使用状态会以全屏的方式显示,并且会处在对话的模式 – 用基于 top 的命令,可以控制显示方式等等。退出 t...

2016-04-28 21:22:57

阅读数:719

评论数:0

机器学习基础(五十八)—— 香农熵、相对熵(KL散度)与交叉熵

香农熵(Shannon entropy)信息熵(又叫香农熵)反映了一个系统的无序化(有序化)程度,一个系统越有序,信息熵就越低,反之就越高。如果一个随机变量 XX 的可能取值为 X={x1,x2,…,xn}X=\{x_1,x_2,\ldots,x_n\},对应的概率为 p(X=xi)p(X=x_i...

2016-04-28 21:01:02

阅读数:11487

评论数:0

Python web —— webbrowser + feedparser 网络爬虫刷博器

强大的 Python,强大的 Python web。 我们以 csdn 上的博客文章为例, (1)使用 feedparser 根据 rss 地址,解析前 20 篇博客 url,添加到一个 list (2)用 webbrowser 迭代打开 list 中的 blog url, (3)因为网页资源十分...

2016-04-28 19:12:24

阅读数:1723

评论数:0

实用的 Python —— os.system() 在 python 语句中执行 dos 命令

import os (1)os.getcwd():首先查看当前工作目录 (2)os.chdir(”):切换文件夹 os.syetem(”) 本质上这里不是讲的不是 python,而是 dos 命令,试提供几个如下:(1)显示当前文件夹下的全部目录和文件夹os.system('dir') (2)...

2016-04-28 18:25:32

阅读数:12821

评论数:3

深度学习基础(六)—— 从 RBM 到 DBN

DBNs 是一个概率生成模型,与传统的判别模型的神经网络相对,用于建立一个观察数据和标签之间的联合分布。

2016-04-28 16:06:30

阅读数:692

评论数:0

深度学习基础(五)—— rectifier function and softplus

rectifierf(x)=max(0,x) f(x)=\max(0,x) softplusf(x)=ln(1+ex) f(x)=\ln(1+e^x) softplus vs sigmoidf′(x)=ex1+ex=11+e−x f'(x)=\frac{e^x}{1+e^x}=\frac1{1+e...

2016-04-28 15:41:57

阅读数:6227

评论数:0

matlab 可视化(specifier)

grid on:加网格 plot ‘linewidth’ ‘color’ ‘marker’ ‘linestyle’

2016-04-28 15:37:29

阅读数:460

评论数:0

概率论与数理统计(一)—— 联合概率、条件概率与边缘概率

联合概率、条件概率与边缘概率三者之间的关系。

2016-04-28 14:59:12

阅读数:4380

评论数:0

机器学习基础(五十七)—— 监督学习、无监督学习

仅使用 inputs x(t)\mathbf x^{(t)} 用于学习: automatically extract meaningful features for your data leverage the availability of unlabeled data 用于非监督学习的神经网络...

2016-04-28 14:33:53

阅读数:476

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭