- 博客(42)
- 收藏
- 关注
RSS订阅原创 Json转为csv格式
pull 失败处理办法：修改为国内镜像：curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s https://pee6w651.mirror.aliyuncs.com
2021-07-08 17:48:11
684
原创 Pretrained-Model-03-ELMO 论文阅读笔记
论文题目：Deep contextualized word representations发表会议：2018-NAACL
2020-12-09 20:25:21
238
原创 light weight neural network-01-MobileNets
论文题目：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications发表会议：2017-CVPR1、相关工作本文创新点：提出了一类新型网络架构，根据应用需求与资源限制（延迟，大小），构建相匹配的小型网络 MobileNets主要致力于优化延迟，但也可以产生小型网络 MobileNets 主要基于深度可分离卷积构成，通过设置两个超参数，实现准确率和延时性之间的平衡轻量化网络在方.
2020-09-06 21:20:34
328
原创 Pretrained-Model-02-Transformer-XL阅读笔记
文章题目：Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context发表会议及时间：2019-ACL1、背景知识2、相关工作Valilla Transformer 的训练和测试阶段信息流过程训练阶段：测试阶段：训练阶段：将文本分割为多个片段，进行单独的训练，片段之间的信息无交流 测试阶段：首先使用X1~X4(假设片段长度为4)来预测X5，然后使用X2~X5的信...
2020-09-02 22:23:23
236
原创 Pretrained-model-01-Transformer论文阅读笔记
论文题目：Attention Is All Y ou Need发表会议：2017-NIPS1、背景知识1.1、翻译效果评价指标BLUE参考博客：https://blog.csdn.net/guolindonggld/article/details/56966200 主要讲解BLUE在nltk中的实现https://blog.csdn.net/jkwwwwwwwwww/article/details/52846728from nltk.trans...
2020-08-31 22:56:14
713
原创 NLP10-SGM-论文学习笔记
论文题目：SGM: Sequence Generation Model for Multi-Label Classification发表期刊：2018-Coling Bestpaper多标签分类：The target of the MLC task is to assign multiple labels to each instance in the dataset1、相关工作将多标签分类问题看做是一个链式的二分类问题也采用了序列生成的方式，但没有采用注意力机制，获得的提...
2020-08-28 23:44:51
908
原创 NLP-07-Deep nmt 学习笔记
标题：Sequence to Sequence Learning with Neural Networks发表期刊：NIPS-20141、背景介绍1.1、机器翻译评价指标：BLUE1.2、seq2seq模型
2020-08-28 17:00:19
202
原创 NLP-05-Char Text Cnn 学习笔记
文章标题：Character-level Convolutional Networks for Text Classification发表期刊：NIPS-2015单位：纽约大学作者：
2020-08-18 10:34:32
329
原创 NLP-04-TextCNN阅读笔记
标题：Convolutional Neural Networks for Sentence Classification发表期刊：EMNLP2014单位：纽约大学1、网络结构总体来说，网络由一个卷积层、一个最大池化层和一个全连接层组成1.1、正则化1.2、TextCNN应用2、实验结果与分析2.1、词向量的影响上图展示的实验仅采用的词向量不同，分别使用glove和word2vec；均采用静态单通道的模型 实验发现word2v...
2020-08-16 18:43:23
513
原创 NLP-03-character embedding（C2W） 阅读笔记
论文题目：Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation发表期刊：2015-EMNLP单位：卡纳基美隆大学1、背景介绍向量的学习对于自然语言处理的应用非常重要，词向量可以在空间上捕获词之间的语法和语义相似性。【背景介绍】 但是词向量机制中的词和词之间是独立的，这种独立性假设是有问题的，词之间形式上的相似性会一定程度造成功能的相似性，尤..
2020-08-15 20:24:50
1785
原创 Linux学习笔记05：用户权限常用命令
目标用户和权限的基本概念 用户管理终端命令 组管理终端命令 修改权限终端命令01.用户和权限的基本概念1.1 基本概念用户是 Linux 系统工作中重要的一环，用户管理包括用户与组管理 在 Linux 系统中，不论是由本机或是远程登录系统，每个系统都必须拥有一个账号，并且对于不同的系统资源拥有不同的使用权限 在 Linux 中，可以指定每一个用户针对不同的文件或者目录的不同权限 对文件／目录的权限包括：序号 权限 英文 ...
2020-08-14 12:56:08
128
原创 Linux学习笔记04：远程管理命令
目标关机/重启 shutdown 查看或配置网卡信息 ifconfig ping 远程登录和复制文件 ssh scp 01. 关机/重启序号 命令 对应英文 作用 01 shutdown 选项 时间 shutdown 关机／重新启动 1.1shutdownshutdown命令可以安全关闭或者重新启动系统选项 含义 -r 重新启动 提示：不指定选项和参数，默认表示1 分钟之后关闭电...
2020-08-13 22:32:48
98
原创 NLP-02-glove 阅读笔记
发表期刊：EMNLP 2014单位：斯坦福大学1.1、文章摘要：当前词向量学习模型能够通过向量的算术计算捕捉词之间细微的语法和语义规律，但是这种规律背后的原理依旧不清楚【介绍当前研究现状及存在问题】 经过仔细的分析，我们发现了一些有助于这种词向量规律的特性，并基于词提出了一种新的对数双线性回归模型，这种模型能够利用全局矩阵分解和局部上下文的优点来学习词向量【分析如何改进】 我们的模型通过只在共现矩阵中的非0位置训练达到高效训练的目的【改进方法】 我们的模型在词对推理任务上得到75%的.
2020-08-13 16:33:43
281
原创 NLP-01-word2vec 阅读笔记
发表期刊：EMNLP 2014单位：斯坦福大学1.1、文章摘要：当前词向量学习模型能够通过向量的算术计算捕捉词之间细微的语法和语义规律，但是这种规律背后的原理依旧不清楚【介绍当前研究现状及存在问题】 经过仔细的分析，我们发现了一些有助于这种词向量规律的特性，并基于词提出了一种新的对数双线性回归模型，这种模型能够利用全局矩阵分解和局部上下文的优点来学习词向量【分析如何改进】 我们的模型通过只在共现矩阵中的非0位置训练达到高效训练的目的【改进方法】 我们的模型在词对推理任务上得到75%的.
2020-08-13 16:31:03
2460
原创 Linux学习笔记：03文件和目录常用命令
目标查看目录内容 ls 切换目录 cd 创建和删除操作 touch rm mkdir 拷贝和移动文件 cp mv 查看文件内容 cat more grep 其他 echo 重定向>和>> 管道| 01. 查看目录内容1.1 终端实用技巧1> 自动补全在敲出文件／目录／命令的前几个字母之后，按下tab键 如果输入的没有歧义，系统会自动补全 如果还存在其他文件／目录／命令，...
2020-08-08 15:41:24
131
原创 Linux学习笔记02：常用命令
常用 Linux 命令的基本使用序号 命令 对应英文 作用 01 ls list 查看当前文件夹下的内容 02 pwd print wrok directory 查看当前所在文件夹 03 cd [目录名] change directory 切换文件夹 04 touch [文件名] touch 如果文件不存在，新建文件 05 mkdir [目录名] make directory
2020-08-07 20:16:41
77
1
原创 Linux学习笔记01：文件和目录
Linux主要目录速查表/：根目录，一般根目录下只存放目录，在 linux 下有且只有一个根目录，所有的东西都是从这里开始 当在终端里输入/home，其实是在告诉电脑，先从/（根目录）开始，再进入到home目录 /bin、/usr/bin：可执行二进制文件的目录，如常用的命令 ls、tar、mv、cat 等 /boot：放置 linux 系统启动时用到的一些文件，如 linux 的内核文件：/boot/vmlinuz，系统引导管理器：/boot/grub /dev：存放linu...
2020-08-07 17:11:53
75
原创 pytorch学习笔记：正则化
1、L2正则化（权重衰减）2、Dropout相当于训练了多个网络，测试时综合了多个网络的结果，使得网络泛化能力更强需要注意的一点是测试时需要对网络输出乘以（1-失活概率P），可以理解为假设训练时有30个神经元失活，因此训练时的输出为70个神经元的加权和，而测试时所有的100个神经元均会参与运算，那么数据的输出尺度发生了变化，因此需要乘以一项来抵消数据输出尺度的变化。3、Batch Normalization将一批数据的特征分布标准化为0均值1方差引入gama和...
2020-07-01 20:36:06
447
原创 网络基础：RNN
一、序列数据序列数据是常见的数据类型，前后数据通常具有关联性。比如：语音、文本数据等等二、语言模型三、循环神经元网络以t=1为例，计算隐藏矩阵（h.t）反向传播过程通式四、门控循环单元GRU五、长短期记忆网络LSTM...
2020-07-01 20:35:26
100
原创 数据结构与算法学习笔记：01复杂度
1、什么是算法?算法是用于解决特定问题的一系列的执行步骤，不论代码的长短，只要是为了解决特定问题的步骤都是算法解决同一个问题，使用不同的算法，效率相差非常大eg：求第n个斐波那契数（0 1 1 2 3 5 8 13 简单来说就是每个数是它的前面两个数相加）package com.mj;import java.util.zip.Inflater;public class...
2020-05-01 22:57:08
123
原创 pytorch学习笔记：优化器
1、优化器的概念优化器的作用:管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。管理：更新哪些参数更新：根据一定的优化策略更新参数的值2、基本属性为了避免一些意外情况的发生，每隔一定的epoch就保存一次网络训练的状态信息，从而可以在意外中断后继续训练。2.1、单步调试代码观察优化器建立过程首先运行到断点出step into2....
2020-04-26 23:02:37
1220
原创 pytorch学习笔记：tensorboard使用
0、安装1、使用方法当设置log_dir时，comment参数不起作用；当未设置时，会在当前目录创建一个文件夹runs，里面还有一个文件夹以comment为后缀，再进去就是记录的文件，以filename_suffix设置的为后缀。...
2020-04-12 18:10:31
2735
1
原创 pytorch学习笔记：损失函数
0.定义损失函数：衡量模型输出与真实标签的差异Cost：希望训练使得预测与标签的差异小一些 Regularization：对模型增加一些约束，防止过拟合1.损失函数1.1交叉熵损失函数...
2020-04-10 20:56:08
1127
1
原创 CV-02-VGG论文阅读总结
1、数据输入：224*224 RGB彩色图像预处理：对图像的每个像素做了减去均值的操作。数据增强：随机水平翻转和随机RGB colour shift设置S=224为最小边长，从原图中等比例缩放，然后从中随机裁剪224*224的部分用于训练2、网络结构3.训练细节训练过程与AlexNet基本相似，除了从各种尺寸的图像中心裁剪图片 batch size：256...
2020-04-09 18:09:09
643
原创 pytorch学习笔记：模型创建及权重初始化
1、模型创建1.1、构建网络层（子模块）1.2、拼接网络层（子模块）1.3、nn.Module首先进行了8个有序字典的初始化，用来管理各个参数及网络设置一个module可以包含多个子module一个module相当于一个运算，必须实现forward（）函数 每个module都有8个字典管理它的数学1.4模型容器1.4.1、nn.Seque...
2020-04-04 15:23:38
2850
2
原创 pytorch学习笔记：transforms图像增强
数据增强：对训练集进行一系列的处理变换，使训练集更丰富，从而让模型更具泛化能力。transforms----裁剪1.transforms.CenterCrop（size）功能：从图像中心裁剪指定尺寸的图片。当裁剪尺寸大于原始尺寸时，会使用0值填充，效果就是黑色像素填充2.transforms.RandomCrop(size, padding)功能：从原始图片中随机裁剪出尺寸为s...
2020-04-02 16:26:37
1413
原创 pytorch学习笔记：autograd
# flag = Trueflag = Falseif flag: w = torch.tensor([1.], requires_grad=True) x = torch.tensor([2.], requires_grad=True) a = torch.add(w, x) # retain_grad() b = torch.add(w, 1)...
2020-03-10 23:12:22
213
原创 pytorch学习笔记：02张量的创建
1.张量是什么？张量是一个多维数组，它是标量、向量、矩阵的高维拓展torch.autograd.Variable(pytorch0.4.0版开始并入Tensor）torch.Tensortensor数据类型2.如何创建张量？1.直接创建torch.tensor(data, dtype=None, device=None, request_grad=Fals...
2020-03-09 16:27:28
473
原创 pytorch学习笔记：03张量的操作及线性回归的实现
张量的拼接torch.cat将张量按维度dim进行拼接 t = torch.ones(2,3) tt = torch.zeros(2,3) t1 = torch.cat(tensors = [t,tt],dim = 0) t2 = torch.cat([t,tt],1) print("t0:{} shape:{} \n t1:{} shape:{}"...
2020-03-09 16:27:13
266
原创 pytorch学习笔记：计算图与动态图机制
叶子结点：用户创建的结点，如x和w设置叶子结点这一概念的原因：为了节省内存，非叶子节点的梯度将在反向传播结束后被释放。import torchw = torch.tensor([1.], requires_grad=True)x = torch.tensor([2.], requires_grad=True)a = torch.add(w, x)a.retain_grad() #...
2020-03-09 16:26:57
230
原创 机器学习实战 朴素贝叶斯
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集 ，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。...
2020-03-06 11:13:12
212
原创 机器学习 决策树学习笔记
什么是决策树?决策树模型呈树状结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以 看做是if-then的集合，将决策树转换成if-then规则的过程如下由决策树的根节点到叶节点的每一条路径构建一条规则路径上内部节点的特征对应着规则的条件，也叶节点的类标签对应着规则的结论决策树的路径的重要性质：互斥并且完备，也就是说，每一个实例都被有且仅有一条路径或者规则所覆盖。这里的覆盖是指...
2020-02-26 18:02:54
232
原创 Mask R-CNN阅读总结
Mask R-CNN论文阅读笔记物体检测，语义分割，实例分割三者之间的区别物体检测（object detection）的目标是确定每个物体的类别，并用bounding box标记出每个物体的位置。语义分割(semantic segmentation)的目标是像素级别的确定每个物体的分类及位置，但不区分同一类别的不同个体。实例分割(instance segmentation)的目标是在语义分...
2020-02-20 16:33:34
312
原创 ch1机器学习基础
机器学习的主要任务分类：将实例数据划分到合适的分类中回归：通过给定数据点拟合最有曲线从而预测数值型数据以上两个任务都属于监督学习，因为这类算法必须知道预测什么，即目标变量的分类信息或目标数值。无监督学习：数据没有类别信息，也不会给出目标值聚类：将数据集分成由类似的对象组成的多个类的过程密度估计：将寻找描述数据统计值的过程降维：减少数据特征的维度，更加直观的可视化信息如何选择...
2020-02-19 16:19:03
80
转载 图像中点的坐标变换
四种坐标变换总结本文内容总结自大佬，仅用于自我复习。易混点：刚体变换=等距变换刚体变换的3个自由度为x平移量、y平移量、旋转角度相似变换的4个自由度为刚体变换的3个➕均匀缩放因子（x与y缩放比例相同）仿射变换和相似变换近似，不同之处在于相似变换具有单一旋转因子和单一缩放因子，仿射变换具有两个旋转因子和两个缩放因子投影变换多的两个自由度不清楚是什么1.变换矩阵假如二维空间中存在...
2020-02-18 19:07:29
1874
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人