- 博客(443)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 pytorch实现MobileNet
论文：https://arxiv.org/pdf/1704.04861.pdf背景：为移动端和嵌入式端深度学习应用设计的网络，使得在cpu上也能达到理想的速度要求。MobileNet是一个轻量级深度神经网络。创新点：主要应用了深度可分离卷积来代替传统的卷积操作，并且放弃pooling层。把标准卷积分解成深度卷积(depthwise convolution)和逐点卷积(pointwise c...
2019-01-26 23:02:21
14460
34
原创 Pytorch神经网络初始化kaiming分布
函数的增益值torch.nn.init.calculate_gain(nonlinearity, param=None)提供了对非线性函数增益值的计算。增益值gain是一个比例值，来调控输入数量级和输出数量级之间的关系。fan_in和fan_outpytorch计算fan_in和fan_out的源码def _calculate_fan_in_and_fan_out(tensor):...
2019-01-25 17:40:28
25635
6
原创 结合pytorch解析VGG Net
2014年ILSVRC竞赛的第二名为VGG Net，该网络结构继承了LeNet和AlexNet的框架，采用了19层的深度网络。VGGNet在分类成功率上药稍逊于GoogleNet，在多个迁移学习任务中的表现要优于GoogleNet。从图像中提取CNN特征，VGGNet是首选算法。VGGNet的缺点是存储空间太大，参数太多，参数量达到140M。总体来说，VGGNet没有过多创新，主要在以下方面进行改...
2019-01-24 22:07:44
1444
2
原创 ssh工具常用小技巧
文件传输scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证scp [参数] <源地址（用户名@IP地址或主机名）>：<文件路径> <目的地址（用户名@IP地址或主机名）&am
2019-01-24 20:54:53
695
原创 Pytorch搭建神经网络组件以及动态搭建详解
网络结构搭建组建搭建参数层：class torch.nn.Module定义的是一个类，通常用来定义具有参数的layer，比如卷积层，全连接层，会自动提取可学习参数nn.Parameter。但是dropout层和batch_norm层也用此模块来实现，因为可以通过方法model.eval来判别是训练模式还是测试模式。搭建无参数层：torch.nn.functional定义了一个函数，用来实现...
2019-01-24 16:07:30
1916
原创 LeNet和CIFAR10数据集为例解析Pytorch常用操作
一.搭建神经网络创建lenet.py:import torch.nn as nnimport torch.nn.functional as F# 继承了nn.Module类class LeNet(nn.Module): def __init__(self): super(LeNet, self).__init__() self.conv1 = n...
2019-01-23 22:11:16
1631
原创 多层感知机BP算法推导
前向计算含有数据输入层，1个以上隐藏层，1个输出层。各层神经元之间全连接，同一层的神经元之间无连接。在图中，z(l)=W(l)⋅a(l−1)+b(l)a(l)=f(l)(z(l))z^{(l)}=W^{(l)}\cdot a^{(l-1)}+b^{(l)}\\a^{(l)}=f^{(l)}(z^{(l)})z(l)=W(l)⋅a(l−1)+b(l)a(l)=f(l)(z(l))其中f(...
2019-01-03 18:52:38
2907
原创 线性判别函数的多分类情况
多类情况1用线性判别函数将属于ωi\omega_{i}ωi类的模式与不属于ωi\omega_{i}ωi类的模式分开。判别函数为：di(x)=wiTx={>0 if x∈ωi≤0, if x∉ωii=1,2,...,Md_{i}(x)=w_{i}^{T}x=\left\{\begin{matrix}>0 \ if\ x\in...
2018-12-26 00:54:13
4263
原创 Word2Vec的原理与实现
词向量表达word2vec就是将单词嵌入到向量空间中。独热表达： 每一个单词用不同的ID进行表示，因此可以表示为其中一个维度为1，其他全0的向量。例如：科学院：[1,0,0] 中科院：[0,1,0] 数据挖掘：[0,0,1]此种方法相当于将单词看成无语义的ID。在向量空间中考虑，此时单词之间相似性程度一样，不能体现出单词间的语义关系。分布式表达每一个单词表示为一般的向量，可以...
2018-12-22 20:18:43
1977
原创 信息论模型-熵问题和互信量
熵(entropy)的定义：（1）离散熵。 离散型随机变量XXX,XXX的熵为H(X)=−∑xP(x)log(P(x))H(X)=-\sum_{x}P(x)\log(P(x))H(X)=−x∑P(x)log(P(x))熵的意义在于衡量了变量的不确定性。熵越大，不确定性越大，包含的信息量越大。太阳从东边出来的可能性为1，从西边为0，此时的熵为1∗log(11)+0∗log(10)=01*...
2018-12-10 17:43:16
937
原创 PCA与t-SNE降维数据
主成分分析(Principal Component Analysis，简称PCA )，是常用的降维方法。PCA是一种线性的降维方法，线性变换的直观表示为：其中，x\bm{x}x是原始的样本，y\bm{y}y是降维后的样本，W\mathbf{W}W是转换矩阵。PCA的主要目标就是求解转换矩阵，我们需要预先定义目标函数，在PCA中，有以下两个优化目标：(1)最小化重构误差(2)最大化投影后的方...
2018-11-24 17:57:58
4473
原创 EM算法和高斯混合聚类
EM算法引言在现实应用中，概率模型有时既含有观测变量(observable variable)，又含有不能被观测到的变量，该变量称为隐变量(latent variable)。如果给定数据全都是观测变量，那么可以使用最大似然估计求解模型参数，但是在含有隐变量的情况下无法求解。EM算法就是用于求解在训练样本具有隐变量的情况下概率模型参数的最大似然估计。EM算法是对两种未知参数（隐变量分布和模型参数）...
2018-11-15 21:36:49
1908
原创 集成学习-多样性的度量和增强
多样性度量在集成学习中，我们希望分类器具有多样性。多样性度量(diversity measure)是用于度量集成个体分类器的多样性。常规的做法是度量两个分类器的相似性，通常有如下指标。给定数据集D={(xi,yi)}1mD=\{(\bm{x}_{i},y_{i})\}_{1}^{m}D={(xi,yi)}1m，对二分类任务，yi∈{−1,+1}y_{i}\in \{-1,+1\}yi∈...
2018-11-14 00:22:40
4856
1
原创 集成学习stacking
参考链接：https://blog.csdn.net/willduan1/article/details/73618677stacking使用mlxtend实现stacking参考链接：http://rasbt.github.io/mlxtend/mlxtend帮助文档：https://sebastianraschka.com/pdf/software/mlxtend-latest.pdf...
2018-11-13 17:25:05
2738
1
原创 python可视化算法执行进度（含输出格式控制函数format用法）
使用PyPrind包实现算法的进度条功能在算法执行过程中，使用PyPrind创建一个进度条对象，可视化算法的执行进度官方地址：https://github.com/rasbt/pyprind可以支持多种不同样式的进度条显示。import pyprindimport timepbar = pyprind.ProgBar(50) # 表示总共更新50次，所以每次就占2%for i i...
2018-11-11 15:07:15
2466
原创 python使用sqlite数据库存储数据
SQLite是一款开源的数据库引擎，由于无需运行单独的服务器，因此成为小型项目和简单Web应用的理想选择。本质上来说，SQLite数据库可以看作是单一的、自包含的（不依赖其他模块和组件）的数据库文件.sqlite，允许我们直接访问存储文件。Python中包含了支持sqlite的API，我们可以直接操作SQLite数据库。import sqlite3# 创建一个访问SQLite数据库的连接，...
2018-11-10 21:09:47
3511
原创 使用回归分析预测连续型变量
线性回归模型线性函数的定义如下：h(x)=w1x1+w2x2+...+wdxd+b=wTx+bh(\bm{x})=w_{1}x_{1}+w_{2}x_{2}+...+w_{d}x_{d}+b=\bm{w}^{T}\bm{x}+bh(x)=w1x1+w2x2+...+wdxd+b=wTx+b给定数据集D={(xi,yi)}1ND=\{(\bm{x}_{i},y_{i})\}_{1}...
2018-11-08 00:17:13
6799
原创 python/conda创建虚拟环境
参考链接：https://www.cnblogs.com/technologylife/p/6635631.htmlpython虚拟环境可以隔绝于系统中的python环境，自己独立出来，在虚拟环境中装包都对系统的环境没有影响。建立python虚拟环境需要使用virtualenv工具包，可以使用pip安装。使用如下命令创建虚拟环境：$ virtualenv venvUsing base p...
2018-11-06 00:01:30
2117
原创 梯度提升树(GBDT)
提升树模型提升树是以分类数或回归树为基本分类器的提升方法。提升方法实际采用加法模型（即基函数的线性组合）与前向分布算法，以决策树为基函数的提升方法为提升树（boosting tree）。基本分类器x<vx<vx<v或x>vx&a
2018-10-28 16:17:27
3897
原创 势函数
可以用势函数来确定非线性的判别函数。基本思想：假设需要划分属于ω1\omega_{1}ω1和ω2\omega_{2}ω2的模式样本。把属于ω1\omega_{1}ω1的点比拟为能源点，在该点上电位达到峰值，随着与该点距离的增大，电位分布减小，即把样本xk\mathbf x_{k}xk附近空间上的x\mathbf{x}x电位分布看成一个势函数k(x,xk)k(\mathbf{x,x_{k...
2018-10-22 20:19:09
12829
原创 感知算法
import numpy as npx1 = [np.array([0, 0]), np.array([0, 1])]x2 = [np.array([1, 0]), np.array([1, 1])]for i in range(len(x1)): x1[i] = np.hstack((x1[i], [1]))for i in range(len(x2)): x2[i] ...
2018-10-15 20:21:24
6546
原创 使用LaTeX制作PPT
参考链接：可以使用beamer类来制作PPT，基本框架为：\documentclass{beamer}\usepackage{xeCJK}\begin{document}\begin{frame}{标题}{小标题}第一页幻灯片\end{frame}\begin{frame}第二页幻灯片\end{frame}\end{document}...
2018-10-14 20:36:58
57780
5
原创 LDA(Fisher)线性判别分析
该方法思想比较简单:给定训练集样例，设法将样例投影到一维的直线上，使得同类样例的投影点尽可能接近和密集（即希望类内离散度越小越好），异类投影点尽可能远离（即希望两类的均值点之差越小越好）两类数据点的类心分别是μ1=1∣C1∣∑x∈C1x和μ2=1∣C2∣∑x∈C2x\mu_{1}=\frac{1}{|C_{1}|}\sum_{x\in C_{1}}x和\mu_{2}=\frac{1}{|C_{...
2018-10-14 00:04:02
12765
11
原创 矩阵分解SVD和NMF
矩阵的秩对于一个M×NM \times NM×N的矩阵A，其秩R(A)为线性无关的行向量（列向量）的数量。在空间中，秩表示矩阵的行向量或列向量所张成的空间的维度。...
2018-10-11 01:05:54
4116
原创 K-Means聚类
给定样本集D={x1,x2,...,xm}D=\{x_{1},x_{2},...,x_{m}\}D={x1,x2,...,xm},k均值算法针对聚类所得到的簇划分C={C1,C2,...,Ck}C=\{C_{1},C_{2},...,C_{k}\}C={C1,C2,...,Ck}最小化平方误差（SSE，sum of squared error）：E=∑i=1k∑x∈ci∥x−μi∥2E...
2018-10-10 22:45:00
599
原创 自适应提升(Adaptive Boosting, AdaBoost)
在boosting中，集成分类器包含多个非常简单的成员分类器，这些分类器性能稍强于随机猜测（rough rules of thumb），被称为弱学习机。典型的弱分类器是单层决策树。Adaboost使用整个训练集来训练弱学习机，训练样本在每次迭代中都会被赋予一个新的权重，在上一个学习机错误的基础上进行学习进而构建一个更加强大的分类器。算法伪代码流程如下：输入：训练数据D={(xi,yi)}i...
2018-09-25 23:22:13
1319
原创 支持向量机(Support Vector Machine, SVM)
感知算法线性分类器：f(x;w,b)=⟨w,x⟩+bf({\rm{x}};{\rm{w}},b)=\left \langle {\rm{w}},{\rm{x}} \right \rangle+bf(x;w,b)=⟨w,x⟩+b，决策：sgn[f(x;w,b)]sgn[{f({\rm{x}};{\rm{w}},b)}]sgn[f(x;w,b)]线性感知机(Perception)算法：输入：训练...
2018-09-24 17:26:45
474
原创 多分类数据预处理和数据分析
去处重复数据：>>> a = pd.DataFrame({'a':[1,1,2], 'b':[1,1,3]})&
2018-09-21 16:11:20
3570
原创 贝叶斯概率决策与分类器
贝叶斯决策条件概率：P(A∣B)=P(AB)P(B)P(A|B)=\frac{P(AB)}{P(B)}P(A∣B)=P(B)P(AB)乘法定理：P(AB)=P(A∣B)P(B)=P(B∣A)P(A)P(AB)=P(A|B)P(B)=P(B|A)P(A)P(AB)=P(A∣B)P(B)=P(B∣A)P(A)全概公式：B1∪B1∪...Bn=Ω,且Bi∩Bj=空集，则P(A)=∑i=1nP(A...
2018-09-20 23:26:11
755
原创 决策树与随机森林
最大信息增益熵(entropy)：随机变量XXX,其取值为{P(X=V1)=P1,...,P(X=VC)=PC}\{P(X=V_{1})=P_{1},...,P(X=V_{C})=P_{C}\}{P(X=V1)=P1,...,P(X=VC)=PC},XXX的熵为H(X)=−∑i=1CP(i)log(i)H(X)=-\sum_{i=1}^{C}P(i)\log(i)H(X)=−i=1∑...
2018-09-18 20:11:03
1035
原创 vim编辑器常用命令整理
参考：http://www.runoob.com/linux/linux-vim.html vim键盘图： vim主要分为三个模式： 命令模式（Command mode），输入模式（Insert mode）和底线命令模式（Last line mode）命令模式刚启动vim时，进入此模式。此状态下敲击键盘动作会被vim识别为命令，而非输入字符。 常用命令：i 切换到输入模式...
2018-09-16 22:03:12
915
原创 LaTeX表格Table使用解析
1.标准的表格格式：\begin{table}[htbp] \centering % 显示位置为中间 \caption{standard table} % 表格标题 %字母的个数对应列数，|代表分割线 % l代表左对齐，c代表居中，r代表右对齐 \begin{tabular}{|c|c|c|c|} \hline % 表格的横线 1&2&am
2018-09-11 21:58:34
150719
10
原创 python3下的import模块层次关系总结
1.假设文件夹A包含两个py文件，那么此时某个py文件的模块搜索路径为A a.py b.pyimport sysprint(sys.path)Output:['/home/winycg/A', '/home/winycg/anaconda3/lib/python36.zip', '/home/winycg/anaconda3/lib/python3.6', ...
2018-08-24 17:00:15
1947
原创 LaTex数学符号，公式解析与伪代码书写
LaTex常用的具有数学意义的符号： 参考链接：https://blog.csdn.net/lanchunhui/article/details/54633576mathbb：blackboard bold，黑板粗体 mathcal：calligraphy（美术字） mathrm：math roman mathbf：math boldface花体\mathcal实例：\m...
2018-07-27 18:09:11
16544
原创 怎样将生成的pdf文件转为eps文件
本人写论文时一般是在Power Point画图，以下介绍怎样将画好的图无失真的转化为矢量图.eps。 需要用到软件Microsoft Visio和Inkscape。 首先在PPT中画好所需要的图，例如： 将上述的表格选中，并复制到软件Visio中去，之后，”设计“→“大小”→“适应绘图”，将画图调整到表格附件，效果如下： 然后，“文件”→“另存为”，选择.pdf格式。 打开Ink...
2018-07-26 20:54:03
22557
转载 linux下的wget命令实现断点下载
参考链接： http://man.linuxde.net/wget https://www.cnblogs.com/cindy-cindy/p/6847502.html wget命令用来从指定的URL下载文件。wget非常稳定，它在带宽很窄的情况下和不稳定网络中有很强的适应性，如果是由于网络的原因下载失败，wget会不断的尝试，直到整个文件下载完毕。如果是服务器打断下载过程，它会再次联到服务...
2018-07-23 20:31:23
14551
原创 pytorch入门教程
pytorch与tensorflow区别https://yq.aliyun.com/articles/183473pytorch安装进入官网：https://pytorch.org/ 根据配置可以生成相应的安装命令，运行之后，会安装torch和torchvision这两个库。 torch 是主模块, 用来搭建神经网络； torchvision 是辅模块, 有数据库, 还有一些已经...
2018-07-21 17:17:13
4168
1
原创 python稀疏矩阵的存储与表示
参考链接： https://blog.csdn.net/bitcarmanlee/article/details/52668477 python scipy中的sparse模块就是为存储和表示稀疏矩阵。 模块的导入以及查看模块的信息：from scipy import sparsehelp(sparse)其中显示了可以表示的7种稀疏矩阵类型：There are seve...
2018-07-09 10:59:40
17617
原创 LaTeX常用代码解析
标题以及纸张边距设置\documentclass{article}\title{tutorials}\author{winycg}\date{\today}\usepackage[a5paper, left=10mm, right=10mm, top=15mm, bottom=15mm]{geometry} % 设置纸张大小和页边距\usepackage{indentfirs...
2018-07-05 00:03:35
8933
原创 win10 Tex Live + Texstudio安装
参考地址：https://blog.csdn.net/qq_38386316/article/details/80272396安装TexLive镜像下载地址：http://www.tug.org/texlive/ 下载on DVD 下载iso镜像文件： 双击下载后的iso文件，运行install-tl-advanced.bat即可开始安装流程。安装TexStu...
2018-07-02 22:25:16
6277
2016年国科大NLP（自然语言处理）期末考试题-宗老师
2019-07-07
360断网急救箱独立版
2018-04-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人