samuelzhoudev的博客

原创 循环神经网络（RNN）、长短时记忆网络（LSTM）及（GRU）模型

循环神经网络（RNN）循环神经网络区别于其他神经网络在于循环二字，这里的循环是指隐含的输出(v)重新输入隐含权重参与模型训练，不同时刻的输入(X)也要放入隐含层权重中。隐含权重是循环到不同时间段其参数不一样，但隐含权重是共用的，注意在图中unfold下隐含权重矩阵只是一个矩阵（这里稍后解释：隐含的输出(v)和对应的输入(x)怎样共用一个矩阵)，之所以呈现多个是为了对应不同的时刻。在继续往下叙述之前，有一个优化问题要解决，即共用一个矩阵，这里可以通用一个简单的例子进行说明：为方便理解，隐含变量为二维，

原创 BFPRT算法详细解析

概念BFPRT算法即是选取中位数的中位数的方式，找出数组n个元素中第k大的数。我们可以根据快速排序得到该值，但是快速排序的平均复杂度为O(nlog(n)),最坏时间复杂度为O(n^2)。而堆排序也是一个较好的方法，维护一个大小为k的堆，时间复杂度为O(nlog(k))。而BFPTR算法。它的最坏时间复杂度为O(n)。⌈⌉ ⌊⌋BFPRT算法原理之前讲过一篇文章关于快速排序文章，我们便继续从那里开始引入。快速排序的大致过程如下：先从序列中选取一个数最为基准数将比这个数大的数全部放到它的右边，把小

原创 机器学习之模型评估与优化

欠拟合和过拟合产生原因：模型不合适导致其无法对数据实现有效的预测。模型对数据的预测情况：训练数据预测数据欠拟合不准确不准确过拟合准确不准确好模型准确准确欠拟合可以通过观察训练数据及时发现，通过优化模型结果解决过拟合产生原因模型结构过于复杂（维度过高）使用了过多属性，模型训练时包含了干扰信息解决办法：简化模型结构（使用低阶模型，比如线性模型）数据预处理，保留主成分信息(数据PCA处理)在模型训练时，增加正则化项（regulariza

原创 机器学习之逻辑回归分析

Classification(分类问题)分类:根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类基本框架y = f(x1,x2…xn)        判断为类别N,如果y = n分类方法 逻辑回归    KNN紧邻模型    决策树    神经网络分类任务与回归任务的明显区别分类任务分

原创 详彻快速排序原理分析

归并排序不足之处约翰.冯.诺伊曼(John von Neumann)在1945年提出归并排序，其时间复杂度为(nlogn),但归并排序不是原地排序算法，空间复杂度比较高，是O(n)。所以托尼.霍尔(Tony Hoare)在1961年提出快速排序，最差:O(n²),期望O(nlogn).数组划分原理选取固定位置主元x（如尾元素）维护两个部分的右端点变量i,j考察数组元素A[j],只和主元比较把主元放在中间作分界线      &nb

转载 tqdm的使用

from tqdm import tqdmimport timefrom random import random, randintwith tqdm(range(50)) as t: for i in t: # Description will be displayed on the left t.set_description('下载速度 %i' %i) # Postfix will be displayed on the right, #formatted

原创 numpy.random.uniform numpy.triu_indices

参考文献：https://blog.csdn.net/yeizisn/article/details/53037328https://www.zhihu.com/question/424417883

转载 [深度模型] Deep & Cross Network (DCN)

https://zhuanlan.zhihu.com/p/138358291

原创 深度学习常见函数 np.isin np.hstack() np.vstack() torch.multinomial()

np.isin判断数组元素在另一数组中是否存在该函数可以方便地判断数组element中的元素是否属于test_elements，以上述问题为例，其程序如下：a = np.array([ [1,2,3], [4,5,6], [7,8,9]])b = [3,4,5,6,7]print(np.isin(a, b))[Out]:[[False False True] [ True True True] [ True False False]]np.hstack,

转载 torch.backends.cudnn.benchmark

设置 torch.backends.cudnn.benchmark=True 将会让程序在开始时花费一点额外时间，为整个网络的每个卷积层搜索最适合它的卷积实现算法，进而实现网络的加速。适用场景是网络结构固定（不是动态变化的），网络的输入形状（包括 batch size，图片大小，输入的通道）是不变的，其实也就是一般情况下都比较适用。反之，如果卷积层的设置一直变化，将会导致程序不停地做优化，反而会耗费更多的时间。卷积层是卷积神经网络中的最重要的部分，也往往是运算量最大的部分。如果我们可以在底层代码中提升卷积

转载 注意力机制在softmax时除以一个根号d的作用

from math import expfrom matplotlib import pyplot as pltimport numpy as np f = lambda x: exp(x * 2) / (exp(x) + exp(x) + exp(x * 2))x = np.linspace(0, 100, 100)y_3 = [f(x_i) for x_i in x]plt.plot(x, y_3)plt.show()得到的图如下所示：原文链接:https://www..

原创 pytorch中make_grid及matplotlib中cmap

make_grid用于把几个图像按照网格排列的方式绘制出来matplotlib中cmap参数的取值在matplotlib中对于图片的显示有如下方法（这不是重点）， 其中有cmap=‘binary’的参数。plt.imshow(imgs[i].reshape(28, 28), cmap='binary')#或如下：也可以达到相同的效果plt.imshow(imgs[i].reshape(28, 28), cmap=plt.get_cmap('binary'))这 是对显示颜色参数的定义，它

转载 PyTorch中.item()用法

转载 torchvision中transforms.Normalize()的形参理解

原文链接：https://blog.csdn.net/qq_42079689/article/details/102574358

原创 pytorch中zero_grad()、cross entropy损失函数计算方式

在PyTorch中，对模型参数的梯度置0时通常使用两种方式：model.zero_grad()和optimizer.zero_grad()。model.zero_grad()model.zero_grad()的作用是将所有模型参数的梯度置为0。其源码如下：for p in self.parameters(): if p.grad is not None: p.grad.detach_() p.grad.zero_()optimizer.zero_grad()

转载 深度学习中的上采样

上采样一些常见的方法有：近邻插值（nearest interpolation）、双线性插值(bilinear interpolation)，双三次插值（Bicubic interpolation），反卷积(Transposed Convolution)，反池化(Unpooling)。近邻插值最近邻插值法nearest_neighbor是最简单的灰度值插值。也称作零阶插值，就是令变换后像素的灰度值等于距它最近的输入像素的灰度值。最近邻插值法可应用于图像的缩放，因为简单的变换与计算，效果一般不好。举例说明其

原创 python生成器和HDF5 、pandas中的dropna()、fillna()函数

生成器生成器是一种使用普通函数语法定义的迭代器。有一个特点是包含yeild都是生成器。生成器不是使用return返回一个值，而是可以生成多个值，每次一个。每次使用yield生成一个值后，函数都将冻结，即在此停止执行，等待被重新唤醒。被重新唤醒后，函数将从停止的地方开始继续执行。生成器是包含关键字yield的函数，但被调用时不会执行函数体内的代码，而是返回一个迭代器。每次请求值时，都将执行生成器的代码，直到遇到yield或return。yield意味着应生成一个值，而return意味着生成器应停止执行（即

原创 自定义csv读取类型

import pandas as pdimport csvclass my_dialect(csv.Dialect): lineterminator = '\n' delimiter = ';' quotechar = '"' quoting = csv.QUOTE_MINIMALwith open('mydata.csv', 'w') as f: writer = csv.writer(f, dialect=my_dialect) writer.wr

原创 maven安装与IDEA集成

下载maven根据操作系统下载正确的Maven版本，并解压到任意目录。maven下载地址： https://maven.apache.org/download.cgi配置Maven在系统属性–>高级–>环境变量中分别配置M2_HOME和Path，如图所示测试安装在控制台输入“mvn -v”，获得如图所示信息表示安装成功配置修改修改目录下D:\javamaven\apache-maven-3.2.2\conf下的settings.xml添加如下内容D:\javamave

原创 生成网络模型之变分自编码

在这里插入图片描述

原创 深度学习之卷积神经网络

目的：提取出图像中的关键信息（轮廓），再建立mlp模型进行训练图像卷积运算（convolution）对图像矩阵与滤波器矩阵进行对应相乘再求和运算，转化得到新的矩阵作用：将图片与轮廓滤波器进行卷积运算，可快速定位固定轮廓特征的位置A与B的卷积通常表示为：A*B或convolution(A,B)常用轮廓过滤器RGB图像的卷积：对RGB三个通道分别求卷积再相加卷积运算导致的两个问题：图像被压缩，造成信息丢失边缘信息使用少，容易被忽略解决方式：图像填充（padding）通过在图像各边增加像

原创 机器学习之多层感知器

多层感知器（multi-Layer Perceptron）Keras是一个用Python编写的用于神经网络开发的应用接口，调用接口可以实现神经网络、卷积神经网络、循环神经网络等常用深度学习算法的开发特点：集成了深度学习中各类成熟的算法，容易安装和使用，样例丰富教程和文档也非常详细能够以TensorFlow,或者Theano作为后端运行https://keras.io/zh/https://keras.io/https://keras-cn.readthedocs.io/en/latest/#

原创 String字符串拼接

/* String:字符串，使用一对""引起来表示。 1.String声明为final的，不可被继承 2.String实现了Serializable接口：表示字符串是支持序列化的。 实现了Comparable接口：表示String可以比较大小 3.String内部定义了final char[] value用于存储字符串数据 4.String:代表不可变的字符序列。简称：不可变性。 体现：1.当对字符串重新赋值时，需要重写指定..

原创 机器学习之主成分分析

数据降维数据降维(Dimensionality Reduction):是指在某些限定条件下，降低随机变量个数，得到一组不相关主变量的工程.其目的：减少模型分析数据量，提升处理效率，降低计算难度；实现数据可视化数据降维的实现：主成分分析(PCA)PCA(principal components analysis):数据降维技术中。应用最最多的方法目标：寻找k (k < n) 维新数据，使它们反映事物的主要特征核心：在信息损失尽可能少的情况下，降低数据维度。信息损失衡量标准为，原有点到

原创 机器学习之异常检测

异常检测异常检测(Anomaly Detection)：根据输入数据，对不符合预期模式的数据进行识别概率密度概率密度：描述随机变量在某个确定的取值点附近的可能性的函数计算数据均值µ,标准差σ计算对应的高斯分布概率函数根据数据点概率，进行判断，如果p(x) < ε;该点为异常点当数据维度高于一维时：同理，根据数据点概率，进行判断，如果p(x) < ε;该点为异常点代码实现#数据分布统计plt.hist(x1,bins = 100)#计算数据均值、标准差x1_mea

原创 机器学习之决策树

决策树的定义决策树：一种对实例进行分类的树形结构，通过多层判断区分目标所属类别本质：通过多层判断，从训练数据集中归纳出一组分类规则优点：计算量小，运算速度快易于理解，可清晰查看各属性的重要性缺点：忽略属性间的相关性样本类别分布不均匀时，容易影响模型表现信息熵信息熵(entropy)：是度量随机变量不确定性地指标，熵越大，变量地不确定性就越大。假定当前样本集合D中第k类样本所占的比例为pk,则D的信息熵为：目标：划分后样本分布不确定性尽可能小，即划分后信息熵小，信息增益大决

原创 机器学习之聚类分析

聚类监督学习：线性回归 逻辑回归 KNN（这里引入KNN是为了与Kmeans进行区分）非监督学习：聚类 (Kmeans Mean-shit)无监督学习(unsupervised learning)无监督学习:机器学习的一种方法，没有给定事先标记过的训练实例，自动对输入的数据进行分类或分群优点：算法不受监督信息（偏见）的约束，可能考虑到新的信息不需要标签，极大程度扩大数据样本主要应用： 聚类分析、关联规则、维度缩减聚类分析(clustering):聚类分析又称为群分析，根据对象某些属性的

原创 机器学习之LR实现线性预测

线性回归预测房价任务：基于usa_housing_price.csv数据，建立线性回归模型，预测合理房价以sqft_living为输入变量，建立单因子模型，评估模型表现，可视化线性回归预测结果以sqft_living、sqft_lot、sqft_above、yr_built、lat为输入变量，建立多因子模型，评估模型表现预测sqft_living=1180、sqft_lot=5650、sqft_above=1180、yr_built=1955、lat=47.5112的合理房价# load t

原创 Scikit-learn介绍与安装

Scikit-learnPython语言中专门针对机器学习应用而发展起来的一款开源框架（算法库），可以实现数据预处理、分类、回归、降维、模型选择等常用的机器学习算法特点集成了机器学习中各类成熟的算法，容易安装和使用，样例丰富，教程和文档也非常详细不支持Python之外的语言，不支持深度学习和强化学习调用Sklearn求解线性回归问题# 寻找a、b(y = ax + b)from sklearn.linear_model import LinearRegressionlr_model =

原创 机器学习初识概念

机器学习是关于在计算机上从数据中产生模型(mode)的算法，即学习算法（learning algorithm）学得模型对应了关于数据的某种潜在的规律，因此亦称为假设(hypothesis)；这种潜在规律自身，则成为真相或真实(ground-truth)；模型也可称为学习器(learner)标记(label)是输出结果信息，所有标记的集合为标记空间或输出空间(label space);若我们预测值是离散的，称为分类(classification)；若预测值是连续值，则称此类学习任务为回归(regressi

转载 本地git仓库关联到gitee码云的远程库

使用GitHub时，国内的用户经常遇到的问题是访问速度太慢，有时候还会出现无法连接的情况（原因你懂的）。如果我们希望体验Git飞一般的速度，可以使用国内的Git托管服务——码云（gitee.com）。和GitHub相比，码云也提供免费的Git仓库。此外，还集成了代码质量检测、项目演示等功能。对于团队...