瓜瓜_-CSDN博客

原创什么是cost function，什么事regularization？

趁着老大出差，在工位上写点以前想的东西。当我们用传统的统计机器学习方法处理问题时，我们需要定义一个cost function以衡量模型的好坏。但在实际场景中，我们的这个cost function的泛化性能未必好，所以，in the process of data mining，我们一直想做的事情就是如何找到一个更好的cost function。 Regularization这是就出现了，

2017-04-13 10:50:17 915

原创一种改进的逻辑斯蒂回归

Logistic Regression的本质不是MLE嘛LR的一个很大的缺点就是单个training example的likelihood可能很小，cost可能会很大，这样的话，单个training example可能会对整体造成很大的影响对于与sigmoid函数就是说，这个函数的下限约等于0，取-log后会是一个很大的正数，所以一个改进的思路就是认为地把x = sigmo

2016-07-25 00:43:37 1026

原创神经网络的严格矩阵求导

玩机器学习的人基本功，就不解释了，BP的核心思想是cost对z和a求导，然后利用链式求导法则从后往前推，然后利用这些中间变量求对theta的导数（也就是梯度）。。。。写的累死了，顺便晒下薄扶林政治学院的Main Building

2016-07-20 14:59:05 1495 1

原创基于logistic regression的严格矩阵求导

本人的其他博客中提到了可以用矩阵求导的方法来运算，然后这里简单讲下。对于线性回归，矩阵求导很简单的啦，直接贴Ng老师的课件吧其实感觉挺巧的，虽然这里Ng老师给出来一个很完美的式子，一步就把gradient矩阵写出来了，但问题就是没把问题解释明白，换了个式子，以我这种人的智商，肯定要懵逼的。所以我给出一个更加具有一般性的证明，虽然最后的结果是一样的。

2016-07-19 21:53:15 1055

原创 MNIST手写数字的识别——kNN篇

直接从sklearn调用KNeighborsClassifier，设置n_neighbor = 5，使用默认的uniform的weight function，即每个neighbor的贡献都是1。代码如下，不过跑的很慢（i7-4800MQ）# coding=utf-8# 都是抄别人的，侵权不究# typhoonbxq# the University of Hong Kong# Refer

2016-07-19 17:02:13 4199

原创 MNIST手写数字的识别——DNN篇

2016-07-19 11:13:05 4744

原创 MNIST手写数字的识别——CNN篇

这里贴一个用nolearn，lasagne训练CNN的例子，数据集嘛，当然是MNIST咯，keras暂时还没研究过，但nolearn训练CNN真的炒鸡炒鸡方便啊这里简单说下CNN的结构，首先是输入层，是一个1*28*28的图像矩阵，用32*5*5的滤波器去虑，得到32*24*24的hidden layer，然后对这个东西进行（2,2）的maxpool，结果是32*12*12的hidde

2016-07-19 10:29:50 14507 1

原创闲着没事，写了个线性回归的源代码

以前只是在Coursera上吴恩达的《Machine Learning》课时用Matlab写过线性回归的源代码，这些东西虽然在python中有现成的库可以调用，但为了练手，还是随便写了一个线性回归的源代码，数据集是课后作业中的.mat文件不过由于只是纯粹练手的缘故，并没有引入L2-Regularization，感觉numpy对矩阵操作还是不如Matlab方便# coding=utf-8#

2016-07-18 10:49:56 2952 2

原创装theano，配置GPU

再也不相信乱七八糟的国产博客了，这里贴个教程https://github.com/philferriere/dlwin（比较基本的步骤都按照各来，出了一个环境变量的设置，要按照ref里面的东西）reference里面有一个很好的

2016-07-13 23:50:31 396

原创神经网络，逻辑回归，矩阵求导

感觉一个很有意思的问题，对于逻辑回归来说，在进行gradient descent时，是可以通过矩阵求导的方式来做的，但需要注意的是，假设X（比如100*1）是一个列向量，我们感兴趣的是sigmoid(X)（也是100*1）对X的倒数，所以这里会得到一个100*100的矩阵，但仅在对角线上有值，其他均为0。所以，当我把逻辑回归延伸到神经网络时，会觉得很奇怪，因为，对于course

2016-07-13 23:45:32 1694

原创关于协同过滤

感觉很奇怪，系统过滤到底是应该把它理解成一个“线性回归”的问题还是一个“逻辑回归”（或者softmax）的问题？按照吴恩达在Coursera上的课程介绍来说，显然是一个“线性回归”问题，因为在定义cost function时，我们采用的是二分之一平方差（顺便说下这里时latent factor model）所以，当我重新审视这个问题时，我就开始思考，协同过滤的cost fu

2016-07-13 23:33:05 439

原创 Python读取文件小结（csv,txt）

搞了半天终于把Python读取文件的方式搞定了，这里简单说下1. 使用openf = open("E:\\ML\\machine-learning-ex2\\machine-learning-ex2\\ex2\\ex2data1.csv")line = f.readline()while line: print line line = f.readline()

2016-07-04 14:15:32 14885 1