- 博客(196)
- 资源 (29)
- 收藏
- 关注
RSS订阅原创 从NLP中的标记算法（tokenization）到bert中的WordPiece
所谓 tokenization ，就是如何提取或者说是记录文本中词语，常用的tokenization有词级标记 (Word level tokenization)、字符级标记 (Character level tokenization)、子字级标记 (Subword level tokenization)词级标记 (Word level tokenization)词级标记就是用空格和标点符号讲一段文本分割成许多词语，词级标记标记的最小维度是词语；虽然词级标记是一种符合常识的标记方法，但是他也存在着诸多
2021-03-07 23:28:40
1524
原创 #从根本上分析# RNN网络梯度消失的原因
和CNN等深度神经网络梯度消失的原因不同，RNN中所谓的梯度消失并不是真正意义上的梯度消失，准确的说应该是梯度消散RNN 中同样的优化参数在各个时刻共享，最终的梯度 g = 各个时间步的梯度 g_t 的和；较远时刻的输出对相比于相邻时刻的输出，梯度的计算需要更多次求导运算，这就导致远距离的梯度更容易消失或爆炸，换一个角度来说，RNN中的总梯度不会消失，而是远距离输出对应的梯度更容易消失，从而导致模型难以学到远距离的依赖关系。关于LSTM介绍请参考为篇文章->#通俗理解# LSTM网络...
2021-03-06 22:42:02
1597
2
原创 #通俗理解# LSTM网络
简单来说，LSTM通过一条主线，三个门来处理序列信息，这里对LSTM常用到的几个计算核函数做一个说明sigmoid函数：用于输出一个0~1的概率值或比例值，一般搭配乘法运算，用于控制信息传递的比例乘法：一般将一个比例值和信息相乘，用于控制信息传递的比例加法：一般将两种信息想加，做信息的融合主线主线上记录所有历史时刻传来的数据（同样经过之前三种门处理后得到的数据）遗忘门融合上一时刻的输出和当前时刻的输入并通过sigmoid函数输出一个0~1的数据，然后和主线上的数据做乘法，意义在于选择当前时
2021-03-04 22:39:06
791
1
原创 #深入理解# BN LN IN GN几种标准化的区别
首先说明一下这 Batch Normalization 和Layer Normalization 都是标准化过程，网上很多文章翻译成批归一化是严重错误的这里先简单说明一下归一化和标准化的区别：归一化：数据线性映射到0-1之间，无量纲化（可以忽略单位对计算的影响），使不同量纲的数据具有可比性标准化：常用的方法是z-score标准化，经过处理后的数据均值为0，标准差为1详细分析请参考我的这篇文章->#浅析# tensorflow中的批标准化Batch Normalization 表示对一批
2021-03-02 21:41:11
883
原创 数值解与解析解
解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题. 解析解，又称为闭式解，是可以用解析表达式来表达的解。 在数学上，如果一个方程或者方程组存在的某些解，是由有限次常见运算的组合给出的形式，则称该方程存在解析解。数值解(numerical solution)是采用某种计算方法,如有限元的方法, 数值逼近,插值的方法, 得到的解.别人只能利用数值计算的结果, 而不能随意给出自变量并求出计算值. 当无法由
2021-02-25 19:52:45
656
原创 #通俗理解# 极大似然估计（ELM）
首先我们不要你这个名称吓到，极大似然估计我们可以理解为一种通过最大化似然函数而对概率分布中的参数进行估计的方法，目的是估计概率分布中的参数，方法是最大化似然函数，这样是不是就很好理解了。想要了解极大似然估计，我们首先就要理解一下什么是似然函数，似然函数是某一事件发生的概率（某一组相互独立的样本取到某组特定值的联合概率），其中自变量是分布参数θ，特定事件发生的概率随θ的不同而不同很多人会混淆似然函数和概率密度分布函数的关系，想了解似然函数和概率密度分布函数的关系请参考博主的这篇文章->#深入理解
2021-02-25 10:41:31
1095
原创 #深入理解# 概率密度分布函数和似然函数
似然函数是某一特定事件发生的概率，其中自变量是分布参数θ，特定事件发生的概率随θ的不同而不同概率密度分布函数是不同事件发生的概率，自变量是样本取值，这样说可能不便于理解，下边通过二项分布概率公式说明：上边是二项分布计算概率的一般公式，似然函数中的自变量是公式中的p，而概率密度分布函数中的自变量是公式中的k如果你还是不理解，这里引用quora上的一个回答 What is the difference between probability and likelihood我们可以再做一个类比，假设一
2021-02-25 10:09:59
3036
原创 #通俗理解# 变分自编码器
自编码器的应用有两个方面，第一是数据去噪，第二是进行可视化降维。然而自动编码器还有着一个功能就是生成数据。自编码器由两部分组成，一个是编码器，一个解码器，编码器将输入数据压缩进行编码，解码器将编码还原成原始数据；但是自编码器有一个缺陷，生成的编码不连续，这里通过一个例子说明：比如对于属于A类的所有样本来说，编码的第一位可能都在1-2之间，而属于B类的所有样本，编码的第一位都在3-4之间，这就导致2-3之间的编码没有对应类别，当我们用训练好的自编码器去生成随机样本时，如果随机生成了一个编码，第一位是2.
2021-02-24 21:46:30
462
原创 结合实例，在tensorflow中使用一维卷积对序列数据进行训练
首先要强调一点，一维卷积的含义是卷积核移动的方向是一维的，数据可以是二维的，很多初学者容易混淆这个概念
2021-02-19 14:37:52
2652
原创 解决 from scipy.misc import comb ImportError: cannot import name ‘comb‘ 问题
因为scipy.misc中的comb位置已经移到scipy.special中，所以，将文件中from scipy.misc import comb改为from scipy.special import comb就会没问题了。例如，我在import librosa时，会报错： cannot import name ‘comb’错误import路径为：site-packages\sklearn\metrics\cluster\supervised.pysite-packages\sklear
2021-02-19 13:55:44
2548
原创 #深入分析# pandas中使用 drop 和 del删除列数据的区别
在Python中del 和drop方法都能够删除dataframe中的列数据，但两者也有着些许区别。首先 del 属于 Python的内置函数函数，drop属于pandas中的内置函数drop对列和行都进行操作；del仅对列进行操作。drop一次可以处理多个项目；del一次只能操作一个。drop可以就地操作或返回副本；del仅是就地操作。两种函数在执行效率上很接近，但是在较大数据上，drop函数优势更明显，尤其实在处理多列数据时...
2021-02-18 12:04:50
2498
原创 pandas中使用fillna函数填充NaN值
1. 参数解析1.1 inplace参数取值：True、FalseTrue：直接修改原对象False：创建一个副本，修改副本，原对象不变（缺省默认）1.2 method参数取值 ： {‘pad’, ‘ffill’,‘backfill’, ‘bfill’, None}, default Nonepad/ffill：用前一个非缺失值去填充该缺失值backfill/bfill：用下一个非缺失值填充该缺失值None：指定一个值去替换缺失值（缺省默认这种方式）1.3 limit参数：限制
2021-02-09 11:10:08
10289
原创 #深入理解# 列表，字典，元组解析式
列表，字典，元组解析本质上是先生成一个生成器，然后使用生成器对列表，字典，元组在初始化的时同时赋值1. 列表解析生成一个列表nums = [1, 3, 9]list_gen = [num**2 for num in nums if x <= 5] # [1, 9]代码描述：表达式（num**2）用于生成你要存储到列表中的值for循环（for num in nums） 用于给表达式供值条件判断（if x <= 5）表示供值的元素应满足的条件2. 字典解析生成一个字典pers
2021-02-07 22:11:19
231
原创 #通俗理解# 什么是ROC曲线和AUC以及AUC存在的问题
简单用一句话总结一下AUC（Area under Curve）的含义：在所有样本中随机挑选一个正样本和一个负样本，模型对正样本预测为正的概率为p1，对负样本预测为正的概率为p2，AUC就是p1>p2的概率AUC就是ROC曲线下的面积，因此我们首先了解一下ROC（Receiver Operating Characteristic）曲线下边这张图中的中的折线就是ROC曲线，由图上的多个点连接而成下图上的横坐标是假阳性率（False Positive Rate, FPR），FP+TN是真实负样本的个
2021-02-07 14:32:26
2982
原创 #深度解析# 深度学习中的SGD、BGD、MBGD、Momentum、NAG、Adagrad、Adadelta，RMSprop、Adam优化器
文章目录概述1. SGD（Stochastic Gradient Descent 随机梯度下降）2. BGD（Batch Gradient Descent 批量梯度下降）3. MBGD（Mini-Batch Gradient Descent 小批量梯度下降）4. Momentum（动量梯度下降）5. Nesterov Accelerated Gradient（牛顿动量梯度下降）6. Adagrad（Adaptive gradient algorithm）7. Adadelta7.概述在神经网络的训练中，
2021-02-03 23:56:41
2521
1
原创 #深度解析# SSR，MSE，RMSE，MAE、SSR、SST、R-squared、Adjusted R-squared误差的区别
文章目录概述1. SSE2. MSE3. RMSE4. MAE5. R-square6.Adjusted R-square概述首先通过一张表格对几种误差的名称有一个了解简称（中文）英文全称SSE(残差平方和、和方差)The sum of squares due to errorMSE(均方差、方差)Mean squared errorRMSE(均方根、标准差)Root mean squared errorMAE(平均绝对误差)mean absolute e
2021-02-02 23:03:41
8175
原创 #深入理解# 机器学习中误差和残差的区别
这里首先需要了解以下观察值、真实值和预测值的关系->三者的区别请参考我的这篇文章->从根本上理解 机器学习中真实值、观测值、预测值的区别简单来讲，误差是观察值与真实值之间的差；残差是观察值与模型估计值之间的差，因此误差和样本数据的构造有关，残差和预测模型有关，一般我们只关心残差。其实了解到这已经足够了，但是想要进一步理解误差和残差的区别请往下看误差是观察值与真实值之间的差。经典测验理论（CTT）的基本假设是：X=T+E。也就是说，观察值等于真值加上误差。我们的任何一次测量都带有误差（每一次
2021-02-02 21:59:51
4766
原创 从根本上理解 机器学习中真实值、观测值、预测值的区别
真实值表示真实世界中的数据（总体）观测值表示机器学习模型的样本数据（样本），但不一定是真实世界中的数据（可以来自真实世界）预测值表示学习模型预测出的数据我们要用预测值训练机器学习算法，然后用模型得到的预测值去预测真实世界的数据...
2021-02-02 21:47:24
10228
2
原创 通俗理解 什么是量纲
首先先介绍一下量纲和单位的区别，长度，时间，质量等都叫做量纲，而米，千米，秒，分钟，等都是单位，国际单位制规定了七个基本量纲单位，这七个量纲彼此之间不能通过量纲计算得到，分别是：量纲量纲符号单位名称单位符号长度L米m质量M千克kg时间T秒s电流I安培A热力学温度K开尔文K发光强度I（Iv）坎德拉cd物质的量n（ν）摩（摩尔）mol通过以上基本量纲计算的到量纲都属于导出量纲，量纲用 [ ]表示，如速
2021-02-02 20:45:11
46378
原创 #通俗理解# 模拟退火算法
文章目录1.算法概述2.参数控制2.1 初始的温度2.2 退火速率2.3 终止温度1.算法概述相比于传统贪心算法，模拟退火算法最大的改进就是对于非最优解系统能够以一定的概率接受，下边通过公式具体说明：假设前一个状态为x(n),系统根据某一指标（梯度下降），状态变为x(n+1),相应的，系统的能量（全局最优解的函数值）由E(n)变为E(n+1),定义系统由x(n)变为x(n+1)的接受概率P为：通过上述公式可知，当当前状态的能量优于前一状态的能量(全局最优解的函数值)时，算法接受当前解（以概率1的概
2021-02-01 17:03:38
698
原创 #深入解析# Python中的 * 和 ** 运算符
文章目录一级目录二级目录三级目录1. `*`1.1 乘法运算1.2 解包1.3 多变量赋值时获取多个元素1.3.1 获取剩余部分1.3.2 获取中间部分1.3.3 如果左值比右值要多，那么带 `*` 的变量默认为空1.3.4 嵌套解包1.4 带*前缀的函数形参能够接受任意个非关键字参数2.`**`2.1 指数运算2.2 对字典变量进行解包2.3 带`*`前缀的函数**形参**能够接受**任意个关键字参数**一级目录二级目录三级目录Python中 *的作用乘法运算对列表等数据结构进行解包多变
2021-01-29 16:44:43
319
原创 Python下 etree.xpath 中 双斜杠 和单斜杠的区别
标识含义‘//’表示从任意节点的任意子节点开始‘/’表示从当前节点开始因此一般在xpath输入字符串参数中会以'/'开头，如果以'//'开头会直接从根节点的第一个子节点开始匹配，如果匹配不到返回空...
2021-01-28 21:50:25
2474
原创 迁移学习笔记
文章目录.2.迁移学习的优势3.微调4.迁移学习的步骤1.keras 内置的预训练模型.2.迁移学习的优势预训练网络 能够使网络在小样本上得到较高的准确率，传统深度学习网络训练参数过多，容易产生过拟合的现象只有在全连接层（分类器）训练好的情况下才能微调卷积基的顶层卷积层，因为刚开始全连接层误差很大，顶部卷积层的学到的参数会被破坏3.微调冻结模型底部的卷积层，共同训练顶部（靠后边）的卷积层和分类器层四个基本原则：新数据集小而且相似时，不建议进行微调，以防止过拟合。最好是只训练线性分类器(只训
2021-01-25 16:13:50
144
原创 简明详细阐述CNN深度神经网络实现步骤及关键点
目录1.读取图片2.划分测试集和训练集3.预处理5.构建模型6.训练网络1.读取图片生成样本列表和标签列表，可以根据路径或者文件名获取每个样本的标签项2.划分测试集和训练集在tensorflow中可以先使用tf.data.dataset.from_tensor_slices函数将数据转化成dataset类型；对于训练集可以使用shuffle函数对数据进行乱序（乱序的作用是使每个epoch中的样本数据顺序不同，防止网络记录样本间的次序信息），然后设置batch_size大小，batch_size大小就
2021-01-23 10:51:45
1823
1
原创 #简明深入# Python 中的 iteritems() 和 items() 函数以及Python2.0到Python3.0的感悟
Python2.x中 iteritems()函数返回的是一个迭代器，而items() 返回的是一个带序号的列表，在for循环中用法是一样的。但是iteritems()函数因为返回的是迭代器更加节省内存Python 3.x 里面，iteritems() 和 viewitems() 这两个方法都已经废除了，而 items() 得到的结果是和 2.x 里面 viewitems() 一致的。在3.x 里 用 items()替换iteritems() ，可以用于 for 来循环遍历类似的，在Pyth..
2021-01-18 17:51:59
634
1
原创 Tensorflow 需要注意的几点
当使用自定义训练时，构建数据集时不需要使用 repeat() 函数；当使用 tensorflow 的compile() 和 fit() 函数对样本进行训练时，需要使用 repeat() 函数当使用构造数据集时使用 repeat()传递无限重复的数据集时， fit() 函数必须指定steps_per_epoch参数。...
2021-01-13 10:43:16
108
原创 # tensorflow笔记 # tensorflow 中的图像预处理操作总结
1. 图像读取获取所有图片文件路径根据图片类别(上一层文件夹名)，生成标签列表（并编码成0，1，2…格式）def load_image(path): train_image_path=glob.glob(path+'/train/*/*.jpg') test_image_path=glob.glob(path+'/test/*/*.jpg') train_image_label=[1 if elem.split('\\')[1]=='类别1' else 0 for elem in train
2021-01-12 16:54:54
534
原创 #深入分析# 深度学习中如何防止模型过拟合
下边几点防止模型过拟合的方法本质上都是通过减小网络规模实现的1. 使用Dropout层深度学习特有结构，以训练过程中一定概率丢弃某些神经元；在训练过程中使用Dropout层本质上是同时训练了多个不同模型，在预测时将不同模型得到的结果求平均后输出，类似于boosting的思想。2. 正则化在模型优化过程中，样本的某些异常值会使模型某些节点的W变得很大，而模型中的对于这些异常值的过度拟合正是造成模型过拟合的根本原因；因此忽略和异常值相关的网络节点，进而忽略异常值，就能在一定程度上防止模型过拟合。总得来说
2021-01-10 11:48:36
544
原创 #深入分析# keras的Embedding函数中 input_dim output_dim input_length 三个参数的理解
Keras中的Embedding层本质上是一个对输入数据降维过程，其中Embedding函数有三个容易混淆的参数，分别是：input_dimoutput_diminput_lengthinput_dim 指的是输入数据的维度，意思就是这一行数据是由多少个严元素组成的output_dim 指的是输出数据的维度，意思是经过Embedding层降维后的数据由多少个元素组成input_length 指的是输入数据的长度，意思是输入数据的从长度是多少，(数据数据是由多个重复的元素安一定顺序组合而成的)
2021-01-09 10:50:57
4713
3
原创 #浅析# tensorflow中的批标准化
1.批标准化的作用批标准化能够解决梯度消失和梯度爆炸的问题批标准化能够提高模型的泛化能力，解决过拟合问题批标准化具有正则化的作用批标准化能够允许更高的学习速率 从而加块模型收敛批标准化允许更深的网络，对于特别深的网络，只有包含多个BtachNormalization层才能进行训练2. 批标准化的实现过程求每个训练批次的均值求每个训练批次的方差进行数据标准化训练参数β和γ...
2021-01-07 16:59:16
565
原创 #深入探究# 机器学习中的归一化、标准化、批标准化
1. 两者的比较1.1 相同点：1 两者本质上都是一种线性变换2.两者公式都能化简成如下公式1.2 不同点：归一化:其实是将数据集归属到0-1范围内，从公式可以看出，他的缩放和最大值、最小值有关系标准化:他的输出范围并不是0-1，而是负无穷到正无穷，他的缩放是和所有点都有关系，并且处理后的特征是符合正态分布2. 两者的应用场景对输出结果范围有要求，用归一化存在异常值和较多噪音，用标准化-数据较为稳定，不存在极端的最大最小值，用归一化3. 两者在机器学习中的应用概率模型不需要归
2021-01-07 16:07:08
168
原创 CNN 卷积神经网络 笔记
1. 卷积神经网络架构卷积层激活层池化层全连接层整个过程本质上就是把图像变厚变小的过程池化层的作用是让后边的卷积层能看到更大的视野（卷积核大小不变的情况下）2. Tensorflow中 CNN网络的数据结构维度含义1batch，一般设为 None2高3宽4通道 chanal...
2021-01-07 15:03:38
164
原创 #深入探究# Tensorflow 中 batch_size 的设置问题
在学习tensorflow时，有几个地方都能设置batch_size 参数，这里对batch_size的设置做一个总结首先强调一下，这个batch_size的作用就是规定每次梯度更新的样本数量目前已知设置 batch_size 的地方有：tf.data.batch() 函数、生成器或keras.utils.Sequence实例 都能通过内部方法生成batchfit() 函数中的 batch_size 参数根据输入数据类型的不同，可分为如下两种情况：如果fit() 函数的数据采用数据集（包
2021-01-06 10:49:47
6290
1
原创 #从源码分析# TensorFlow fit 方法中的 steps_per_epoch 参数
对官方文档的总结如下：steps_per_epoch 用于指定每个epoch所使用的迭代次数当fit方法的输入数据是张量类型时，steps_per_epoch 默认为数据集中的样本数量除以批次大小当fit方法的输入数据是tf.data 时，每个epoch会默认将数据集用尽当fit方法的输入数据是tf.data且传递的数据是无限repent时，必须指定steps_per_epoch参数数组输入不支持steps_per_epoch参数在官方帮助文档中，steps_per_epoch 参数的说明如
2021-01-06 09:56:18
3975
原创 Tensorflow 2.x 中的 dataset总结
今天学习Tensorflow 中的dataset，通过研究解决了几个之前的困惑，在这里总结一下dataset本质上是一个迭代器，因此dataset的repeat方法并不会增加内存的消耗，只是在原有数据集上增加几个循环的次数shuffle需要用到缓冲区，而且一般缓冲区大小大于等于数据集大小，在这篇文章中我对shuffle方法和buffer_size参数做了详细的分析->#深入探究# Tensorflow.Data.shuffle 方法的实现原理和 buffer_size 参数的作用...
2021-01-05 20:39:45
727
原创 #深入探究# Tensorflow.Data.shuffle 方法的实现原理和 buffer_size 参数的作用
今天在学习 tensorflow 中 dataset 的shuffle方法时，对 buffer_size 这个参数一直不理解找遍了全网，都只是说 buffer_size 数值越大，混乱程度越好，没有从原理上解释这个参数是什么意思，于是我查询了shuffle方法官方帮助手册，里边的英文原文如下：Randomly shuffles the elements of this dataset.This dataset fills a buffer with buffer_size elements, th
2021-01-05 20:04:45
1262
原创 #本质上理解# 熵、交叉熵、KL散度的关系
1. 两者的关系【1】熵：可以表示一个事件A的自信息量，也就是A包含多少信息。【2】KL散度：可以用来表示从事件A的角度来看，事件B有多大不同。【3】交叉滴：可以用来表示从事件A的角度来看，如何描述事件B。一句话总结的话：KL散度可以被用于计算代价，而在特定情况下最小化KL散度等价于最小化交叉熵。而交叉熵的运算更简单，所以用交叉熵来当做代价。2. 交叉熵的计算Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\foralln\in\mathbb N
2021-01-05 09:55:13
1760
原创 为何逻辑回归中 普遍使用 Softmax激活函数
分类问题（逻辑回归）中，当计算模型预测值的交叉熵函数时，需要用到样本被分到不同样本下的概率，而这个值可以通过Softmax激活函数得到，因此逻辑回归中 普遍使用 Softmax函数作为激活函数...
2021-01-05 09:12:48
574
原创 #浅析# categorical_crossentropy 和 sparse_categorical_crossentropy 的区别
categorical_crossentropy 和 sparse_categorical_crossentropy 都是交叉熵损失函数，使用哪种函数要根据标签的结构来选择如果样本标签是one-hot编码，则用 categorical_crossentropy函数 one-hot 编码：[0, 0, 1], [1, 0, 0], [0, 1, 0]如果样本标签是数字编码 ，则用sparse_categorical_crossentropy函数 数字编码：2, 0, 1...
2021-01-04 22:45:42
2864
1
原创 #深入探究# 神经网络中的Softmax激活函数
1. Softmax 的含义Softmax函数可以看作是soft和max的组合，为了更好的理解softmax，我们可以先来看一下一直相对应的HardMax。对于多分类问题，最简单的做法是哪一个输出的值最大就被分到哪一类，这种方法其实就叫做Hardmax，但是很多时候样本并不是严格的属于某一个单一的类别，比如一篇文章或多或少包含着各种主题信息，这时我们更想知道样本属于不同类别的的概率是多少，Softmax的含义就在于不再唯一的确定某一个最大值，而是为每个输出分类的结果都赋予一个概率值，表示属于每个类别的可
2021-01-04 22:23:52
566
2
PaperRetrievalDownload.rar
2021-02-17
kares下的 fashion-mnist 和 mnist 离线数据集打包下载
2021-01-06
外文检索&下载&翻译&管理软件V3.3
2020-11-27
外文检索&下载&翻译&管理软件V3.2
2020-11-25
外文检索&下载&翻译&管理软件V3.1
2020-11-25
外文检索&下载&翻译&管理软件V3.0
2020-11-25
PaperRetrievalDownload.rar
2020-09-02
论文检索&下载&文字提取&翻译&管理软件
2020-07-28
boost_log_setup-vc120-mt-1_56.dll
2020-02-13
boost_locale-vc120-mt-1_56.dll
2020-02-13
boost_iostreams-vc120-mt-1_56.dll
2020-02-13
boost_graph-vc120-mt-1_56.dll
2020-02-13
boost_filesystem-vc120-mt-1_56.dll
2020-02-13
boost_coroutine-vc120-mt-1_56.dll
2020-02-13
boost_context-vc120-mt-1_56.dll
2020-02-13
boost_container-vc120-mt-1_56.dll
2020-02-13
boost_chrono-vc120-mt-1_56.dll
2020-02-13
boost_atomic-vc120-mt-1_56.dll
2020-02-13
boost_date_time-vc120-mt-1_56.dll
2020-02-13
脑电数据批量绘图算法v3.0.zip
2020-01-04
脑电数据批量绘图算法V2.0.zip
2020-01-03
脑电批处理算法.zip
2020-01-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人