Zhang's Wikipedia

玩就玩大的

使用 json 进行神经网络结构信息的格式化 (dump & load)

我们以dump和load一个神经网络的结构信息为例,分析如何使用json进行数据的格式化dump和load,保存一个神经网络自然需要保存:1. 拓扑结构,2. 各个层、各个神经元之间的权值及偏置信息,3. 代价函数,这些信息都被Network类所维护,不妨将这一个数据保存过程作为Network类的...

2015-11-30 14:52:47

阅读数 1090

评论数 0

Python技巧——根据函数名获得函数对象

有时我们需要将一个文件的信息(类、函数及变量)保存到文件,我们不能直接保存函数对象,而是将其转化为fn.__name__,问题来了,当我们想通过读取文件的形式重新配置这些类、函数时,该如何把这些字符串转换为对应的函数对象呢?# test.py import sys def fn(): pr...

2015-11-30 12:38:23

阅读数 4678

评论数 0

BP神经网络——使用L2 进行regularization

通过这篇文章,我们会看到,在原有框架,神经网络拓扑结构(topology)、计算流程(back propagation)的基础上,添加进新的数学工具,进行改进时,并不需要对框架对基本结构的大动,只需简单的小幅微调,所以,应用新的数学机制到原有的网络结构,计算框架时,不必如临大敌,就像我们之前看到的...

2015-11-30 10:12:02

阅读数 1169

评论数 0

BP神经网络——如何进行权值的初始化

如果以面向对象(OOP)的方式进行BP神经网络系统的设计与实践的话,因为权值的初始化以及类的构造都只进行一次(而且发生在整个流程的开始阶段),所以自然地将权值(全部层layer之间的全部权值)初始化的过程放在类的构函数中,而权值的初始化,一种trivial常用的初始化方法为,对各个权值使用均值为0...

2015-11-29 21:05:46

阅读数 15624

评论数 0

BP神经网络——从二次代价函数(Quadratic cost)到交叉熵(cross-entropy cost)代价函数

我们首先来回顾BP神经网络反向传播过程: 1. 首先在当前网络状态((w,b)(w,b)给定)下,根据feedforward(a=σ(w⋅a+b)a=\sigma(w\cdot a+b)),预测当前样本xx的label值,再根据代价函数(此时不指定具体形式,C=(a,y)C=(a, y),a=σ...

2015-11-28 18:20:48

阅读数 7814

评论数 0

C++设计模式——从多态到观察者模式到MVC架构

我们先从宏观整体上把握MVC的架构与流程:

2015-11-28 15:35:10

阅读数 1503

评论数 0

Python实用小技巧

print && list comprehension>>> my_list = [1, 2, 3] >>> [print(e) for e in my_list]以上的语法特性应该不会被python2支持,因为在python2中,print是一...

2015-11-28 08:55:46

阅读数 410

评论数 0

Python基础——NaN(Not a Number)

inf 与 naninf不是nan,inf-inf或者-inf+inf是nan。inf是∞\infty,一个比其他所有值都大的值。>>> 2*float('inf') >>> inf >>> -2*float('inf') >>&g...

2015-11-27 21:35:30

阅读数 38367

评论数 0

Python机器学习——概念及其物理解释

将现实中出现的概念、意义或者内含赋予数学公式以及定理中的某一记号,以帮助记忆和理解,是数学家惯常的一个套路。此专题用来梳理和整理机器学习以及进行编程实践中出现的一个常用或者不太常用的概念或者说法。 score vs activation对一个Multi-layer Multi-neuron的神经网...

2015-11-27 21:20:21

阅读数 872

评论数 0

Python基础——@staticmethod与@classmethod

@staticmethod的用法使用@staticmethod声明的成员函数具有C++类的静态成员函数的相同的用法,既可以被对象调用,更可以被类本身调用,因为静态成员函数属于类本身。 在python类的定义中,在成员函数的参数列表中如果不指定第一个参数为self(也即c++中的this指针),标...

2015-11-27 17:46:41

阅读数 542

评论数 0

numpy 常用api(一)

np.linalg.norm顾名思义,linalg=linear+algebra\mathrm{linalg=linear + algebra},norm\mathrm{norm}则表示范数,首先需要注意的是范数是对向量(或者矩阵)的度量,是一个标量(scalar):首先help(np.linal...

2015-11-27 16:55:02

阅读数 9232

评论数 0

csdn markdown 的使用

页内链接我们想要正文部分和文章的某一级标题进行链接,点击之后,页面跳转到那一级标题处。如页内链接,具体该如何实现呢?一种简便的方式是:其实每一级标题都对应着一种链接,默认链接地址为#+标题内容,如本节标题链接为#页内链接。我们只需将该地址作为需要链接的地方的地址即可,也就是[页内链接](#页内链接...

2015-11-27 11:25:11

阅读数 852

评论数 0

机器学习算法mini版

SGD(stochastic gradient descent)SGD=S+GD\mathrm{SGD=S+GD}SGD要点有二: 随机S:Stochastic\mathrm{S:Stochastic}的实现——shuffle\mathrm{shuffle}:np.random.shuffle(t...

2015-11-26 16:11:56

阅读数 658

评论数 0

Python基础——zip

>>> x = range(0, 27) >>> y = [chr(x) for x in range(97, 123)] >>> [(i, j) for i in x f...

2015-11-26 15:39:08

阅读数 769

评论数 0

Python机器学习——如何shuffle一个数据集(ndarray类型)

稍微比较麻烦的是实现特征向量与类别标签的同步shuffle。如果这里数据集既包含特征向量又包括标签值,可直接调用np.random.shuffle()方法:>>> np.random.shuffle(training_data) >&...

2015-11-26 10:46:24

阅读数 4991

评论数 0

sklearn 细节 —— SGDClassifier、Perceptron(分类模型)

preprocessing StandardScaler LabelEncoder OneHotEncoder model_selection train_test_split(新版本从 cross_validation 移步于此) decomposition PCA linear_mod...

2015-11-26 08:44:35

阅读数 6542

评论数 0

Python基础——min/max与np.argmin/np.argmax

这里应该是拿min/max(更适合处理可迭代对象,可选的参数是key=func)与np.min/np.max(可适合处理numpy.ndarray对象,可选的参数是axis=0或者1)作比较,只不过np.argmin/np.argmax的用法与np.min/np.max相似,这里就不进行更正了。 ...

2015-11-25 23:37:17

阅读数 38012

评论数 0

Python基础——positional argument vs keyword argument

python强大的类型推导,有时也会带来一些副作用,比如有时编译器会报如下错误:TypeError: Function takes at most 1 positional arguments (2 given) # 函数最多接受一个位置参数,却提供了两个所谓positional argument...

2015-11-25 17:22:03

阅读数 20140

评论数 0

pickle 在python 2和python 3中兼容性问题

references

2015-11-25 11:51:58

阅读数 8739

评论数 1

程序结构&&程序设计

实现一种自更新a=σ(w⋅a+b) a=\sigma(w\cdot a+b) 这里ww是二维矩阵,而aa和bb是向量,σ(⋅)\sigma(\cdot)处理一个向量,得到的向量aa,又反过来作为程序的输入,可通过几乎所有程序设计语言的赋值运算进行实现:for w, b in zip(weights...

2015-11-24 21:59:59

阅读数 510

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭