keep forward, go, go, go

主要用于自己备忘,写的不太好,请轻拍,有疑问请留言,共同讨论交流^_^

L1正则为什么更容易获得稀疏解

  L1和L2正则常被用来解决过拟合问题。而L1正则也常被用来进行特征选择,主要原因在于L1正则化会使得较多的参数为0,从而产生稀疏解,将0对应的特征遗弃,进而用来选择特征。   但为什么L1正则会产生稀疏解呢?这里利用公式进行解释。 假设只有一个参数为www,损失函数为L(w)L(w)L(w...

2018-07-29 22:47:51

阅读数 3638

评论数 1

机器学习中的方差、偏差和噪声

  机器学习算法一般都会有训练和测试的过程,而且算法在不同训练集(训练集来自同一个分布)上学得的模型,测试的结果也很可能不同。   一般来说,算法的方差衡量了训练集的变动导致的模型性能的变化,即多次训练的模型之间的性能差异性。偏差则是度量算法的期望输出与真实标记的区别,表达了学习算法对数据的拟合...

2018-07-14 22:39:25

阅读数 374

评论数 0

linux下python程序后台运行,并将打印信息保存文件

  在跑比较时间比较长的程序,或者是打印信息比较多的程序时,一般都会后台运行程序,然后把打印信息保存在文件中,等程序运行结束后再检查输出日志。完成该功能可以用如下命令: nuhup python -u test.py > test.log 2>&a...

2018-07-14 21:55:24

阅读数 2294

评论数 0

softmax loss层的求导反向传播

  深度学习中的分类网络,一般都是使用softmax和交叉熵作为损失函数。关于softmax和cross entropy的介绍和解释可以详见我的另一篇博客softmax loss。这篇博客仅解释如何对softmax loss层进行求导反向传播。   假设网络最后一层的输出为zz\mathbf{z...

2018-07-08 11:51:16

阅读数 2480

评论数 5

CNN中pooling层的反向传播

  CNN中的pooling层一般有max pooling和average pooling两种。虽然pooling层没有参数,但为了使用链式法则逐层向前进行梯度的传播,也是需要对pooling层进行求导计算的。   假设P_prev经过pooling层之后得到P,pooling的步长为strid...

2018-07-04 22:14:24

阅读数 871

评论数 0

linux下统计代码量

  在日常工作时,可能需要统计代码量,在linux下可以使用cloc工具来统计代码量。在ubuntu下可以直接使用如下命令安装cloc工具 sudo apt-get install cloc 安装之后,即可以使用cloc的命令来统计代码量,比如统计当前目录下的代码量 cloc --e...

2018-07-04 22:07:18

阅读数 349

评论数 0

softmax loss

  softmax函数比较简单,可以用如下公式表示 同样,交叉熵的公式也很简单,如下: 其中 表示真实的概率(),而 表示预测的概率。 在深度学习中,这二者也经常被使用,softmax常被用来将输出映射到0~1的概率值,而cross entropy则常被用来作为分类模型的损失函数。 在使...

2018-07-04 22:02:59

阅读数 497

评论数 0

numpy中的reshape操作

  reshape操作,顾名思义,就是调整矩阵的形状。在Python中,reshape用于调整矩阵的维度和形状,比如将2*3的矩阵调整为3*2的矩阵。在使用reshape函数调整矩阵AAA形状时,可以使用p.reshape(A, [?,?]),也可以用A.reshape([?,?]).   nu...

2018-06-23 11:18:03

阅读数 250

评论数 0

pandas读取csv文件,分隔符参数sep

  在python中读取csv文件时,一般操作如下: import pandas as pd pd.read_csv(filename) 该读文件方式,默认是以逗号“,”作为分割符,若是以其它分隔符,比如制表符“/t”,则需要显示的指定分隔符。如下 pd_read_csv(filenam...

2018-06-23 11:07:58

阅读数 5035

评论数 0

深度学习中的梯度下降算法

    在深度学习中,梯度下降算法应该是使用的最普遍的优化方法了。一直想要对深度学习中的梯度下降算法做个总结,但无意之中看到了总结的非常好的博客。于是转载过来,多谢原先博主的总结。    博客原文地址http://ruder.io/optimizing-gradient-descent/    中...

2018-06-23 10:48:37

阅读数 290

评论数 0

tensorflow中batch normalization的用法

转载自https://www.cnblogs.com/hrlnw/p/7227447.html网上找了下tensorflow中使用batch normalization的博客,发现写的都不是很好,在此总结下:1.原理公式如下:y=γ(x-μ)/σ+β其中x是输入,y是输出,μ是均值,σ是方差,γ和...

2018-06-20 09:30:02

阅读数 257

评论数 0

线性模型(七)之人工神经网络(ANN)

  前面介绍了三种用于分类的模型,感知机、逻辑斯蒂回归和支持向量机。如果只就二分类任务而言,其实它们都可以认为是在寻找一个超平面wTx+bwTx+b\mathbf{w}^T\mathbf{x} + b将正负样本划分开。只不过寻找超平面的思路/想法不一致。但它们的目标都是要确定ww\mathbf{w...

2018-06-09 22:02:35

阅读数 200

评论数 0

线性模型(六)之SVM

  支持向量机(support vector machine,SVM)是一种使用特别广泛分类算法,分类效果也是非常不错的,SVM算法也有很严谨的数学理论推导。   SVM算法也是基于线性回归模型来做分类的。SVM算法的思路是将线性方程wTx+bwTx+b\mathbf{w}^T\mathbf{x...

2018-06-09 21:09:04

阅读数 253

评论数 0

线性模型(五)之逻辑斯蒂回归

  逻辑斯蒂回归(logistic regression,LR)名字中包含“回归”二字,乍一听,还以为是一种回归算法,实则不然,逻辑斯蒂回归是不折不扣的分类算法。   感知机算法是最直接的将线性回归用于分类的算法,其直接在线性回归的模型上加上了符号函数,变成了二分类模型。类似,逻辑斯蒂回归算法的...

2018-06-09 20:40:01

阅读数 244

评论数 0

python中文件复制操作

  一般在做机器学习算法之前,或多或少都会涉及到数据的清洗工作,而清洗时,又经常需要把文件进行复制操作(比如,把清洗好的文件拿出来放到另一个目录)。   在python中,一般使用shutil包进行复制操作,如下: shutil.copyfile(src,dst) #复制源文件src到目的...

2018-06-05 22:23:17

阅读数 4463

评论数 0

linux两台服务器间拷贝文件

  比如登录到了服务器AAA,想要拷贝文件到服务器BBB(比如IP为192.168.1.1)上,可以使用如下的命令: scp aaa.aa user@192.168.1.1:/bb/bb/ 表示将服务器AAA上的文件aaa.aa复制到服务器BBB上的目录/bb/bb/下,其中user表示B...

2018-06-05 22:18:37

阅读数 180

评论数 0

python中以相同顺序shuffle两个list

  通常做机器学习问题时,需要准备训练数据,通常会把样本数据和标签存放于2个list中,比如train_x = [x1,x2,...,xN][x1,x2,...,xN][\mathbf{x}_1,\mathbf{x}_2,...,\mathbf{x}_N],train_y = [y1,y2,......

2018-06-03 21:06:40

阅读数 3407

评论数 0

线性模型(四)之感知机

  在该系列博客《线性模型》的前两章介绍了介绍了线性模型用于回归任务,即多项式拟合和线性回归。那么能否方便地将线性模型也用到分类任务上呢?   按照我自己的理解,将线性回归用于分类,最简单的思想就是构建线性回归模型f(x)=wTx+bf(x)=wTx+bf(\mathbf{x}) = \math...

2018-06-02 13:24:53

阅读数 151

评论数 0

线性模型(三)之线性回归

  在前一篇博客线性模型(二)之多项式拟合中介绍了一维数据的多项式拟合问题。理解多项式拟合后,再来看线性回归,会发现,如出一辙。线性回归和多项式拟合的主要区别在于: 线性回归的输入是多维的 线性回归模型不仅是参数的线性函数,也是输入xx\mathbf{x}的线性函数,即不会像多项...

2018-06-02 12:32:21

阅读数 113

评论数 0

c/c++计算程序运行时间

  在c/c++中经常需要获取某段程序的运行时间,那么如何来实现呢? 方式一:使用time函数   使用time函数计算某段程序运行时间的代码如下: time_t start_time; time(&start_time); ... time-consuming co...

2018-05-30 22:21:53

阅读数 278

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭