- 博客(87)
- 收藏
- 关注
RSS订阅原创 对Visualizing and Understanding Convolutional Networks的一些理解
本文通过引入CNN网络的可视化技术分析AlexNet网络结构，主要告诉我们CNN的每一层到底学习到了什么特征，让我们在调参、改进网络结构的时候提供一定的参考。CNN网络性能的显著提高，得益于三个因素：（1）大量的带标注的训练数据。（2）GPU算力，使得训练大的模型可以实现。（3）更好的正则化方法来防止复杂模型的过拟合，使模型具有更好的泛化能力，比如Dropout。一、利用反卷积实现特征可视化以AlexNet为例，为了解释CNN的每一层都学习到了什么特征，论文通过反卷积的方法，进行可视化。（反卷积网络可
2020-06-29 15:49:17
454
原创 怎么在jupyter Notebook中使用TensorFlow
1. 激活Tensorflow环境conda activate tf_gpu2. 安装ipythonconda install ipython3. 安装jupyterconda install jupyter如果出错用pip install jupyter4. 安装python kernel for tensorflowipython kernelspec install-self --user5. 验证jupyter notebook参考链接...
2020-05-31 20:13:15
817
原创 （十二）BN和LN
文章目录一、基于规则的方法二、基于监督学习的方法三、Bootstrap算法四、Snowball一、基于规则的方法优点：比较准确不需要训练数据缺点：low recall rate，（覆盖问题），覆盖范围小，很多规则人想不到成本（人力）规则本身难以设计（规则不冲突，规则不冗余）二、基于监督学习的方法定义关系类型定义实体类型训练数据准确实体标记好（类型）...
2020-04-11 19:51:00
4550
2
原创 （十一）关系抽取方法
文章目录一、基于规则的方法二、基于监督学习的方法三、Bootstrap算法四、Snowball一、基于规则的方法优点：比较准确不需要训练数据缺点：low recall rate，（覆盖问题），覆盖范围小，很多规则人想不到成本（人力）规则本身难以设计（规则不冲突，规则不冗余）二、基于监督学习的方法定义关系类型定义实体类型训练数据准确实体标记好（类型）...
2020-04-10 11:23:49
498
原创 （十）特征编码-Feature Encoding
类别特征（categorial Feature）- 男(0,1)- 女(1,0)- one-hot encoding连续型特征- 身高、温度- A：直接用（归一化）：0,1归一化、N(0,1)高斯归一化- B：离散化：one-hot encoding- 150-160 160-170 170-180- 1 2 ...
2020-04-09 22:52:50
952
原创 （九）GD、L1和L2、MAP、MLE、Lasso
文章目录一、GD二、从LR看L1、L22.1 模型复杂度2.2 正则三、K折交叉验证四、MAP与MLE五、Lasso Regression一、GDGD：梯度稳定，所有样本的梯度SGD：梯度不稳定（一个样本，可能为噪声样本），学习率要小mini-batch GD：折中方案既不考虑所有样本，节省时间成本相对稳定，M需要去尝试二、从LR看L1、L2当给定的数据线性可分的...
2020-04-09 22:13:06
551
原创 （0）NLP的流程
文章目录一、NLP项目的Pipeline二、word segmentation2.1 最大匹配算法（max matching）2.2 Incorporate Semantic三、文本表示3.1 one-hot representation3.2 Distributed Representation3.3 文本相似度四、建模方法4.1 Noisy channel Model4.2 LM4.3 语料库...
2020-04-09 19:41:35
260
原创 （八）什么是P、NP、NP-hard问题？
P问题： 在多项式复杂度下，可以解决的问题NP问题：在多项式复杂度下可以verify的问题（可验证） - 给一个解，可在多项式复杂度内验证解是否正确 - 例如：密码问题NP-hard问题：指数级复杂度问题- 对于小型问题，可以解决- 采用近似算法解决（可能无法获得精确解） - 指出近似算法 - 指出时间复杂度 - 给出近似算法最后给出的解，离我们想要的最优解有多...
2020-04-09 17:48:24
368
原创 （零）重要问题
lightgbm, xgboost RF和GBDT的异同（对于ID3,C4.5,CART也要了解，对于xgb的算法原理要充分理解，比如损失函数的推导过程，为什么要使用二阶泰勒展开。最好有一些调参经验）svm损失函数推导朴素贝叶斯公式推导与实现处理不平衡常用方法处理不平衡数据的基本方法机器学习如何处理不平衡数据卷积层相比FC层有哪些优势？fc全连接层的作用...
2020-04-07 21:35:42
253
原创 （七）判别式模型与生成式模型
文章目录一、概念二、例子三、优缺点3.1 生成方法3.2 判别方法3.3 两者的区别和联系四、模型实例4.1 生成式模型4.2 判别式模型一、概念对于输入x，类别标签y：产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x)产生式模型可以根据贝叶斯公式得到判别式模型，但反过来不行。生成模型估计的是联合概率分布，然后求出条件概率分布P(Y|X)作为预测的模...
2020-04-07 20:51:39
336
原创 （六）RF、GBDT、XGBoost
文章目录一、RF1.1 原理1.2 优缺点二、GBDT2.1 原理2.2 优缺点三、XGBoost3.1 原理四、GBDT和XGBoost区别RF、GBDT和XGBoost都属于集成学习，集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：Boosting:个体学习器之间存在强依赖关系、必须串行生成的...
2020-04-07 19:58:48
438
原创 （五）Bert
文章目录一、Bert的基本原理是什么？二、BERT 是怎么用 Transformer 的？三、BERT 的训练过程是怎么样的？3.1 Masked LM3.2 Next Sentence Prediction四、为什么 BERT 比 ELMo 效果好？ELMo 和 BERT 的区别是什么？4.1 为什么 BERT 比 ELMo 效果好？4.2 ELMo 和 BERT 的区别是什么？五、BERT 有...
2020-04-06 21:45:21
1009
原创 （四）Transformer中的关键
文章目录一、Transformer的结构是什么样的？1.1 Encoder端&Decoder端总览1.2 Encoder端各个子模块1.2.1 多头self-attention模块1.2.2 前馈神经网络模块1.3 Decoder端各个子模块1.3.1 多头self-attention模块1.3.2 多头Encoder-Decoder attention 交互模块1.3.3 前馈神经网络模...
2020-04-06 20:36:43
1314
原创 （三）ELMO
文章目录一、ELMO的基本原理二、ELMO的训练过程是什么样的？损失函数是什么？三、ELMO训练好之后如何使用？四、ELMO的优点是什么？ELMO为什么有效？五、ELMO为什么能够达到区分多义词的效果？六、ELMO把三种不同的向量叠加的意义是什么？这样做能达到什么样的效果？ELMO一、ELMO的基本原理ELMO采用了典型的两阶段过程：第一个阶段是利用语言模型进行预训练第二个阶段是在做下...
2020-04-06 16:57:12
404
原创 （二）SVM的核心问题
这里写目录标题一、SVM简介二、SVM为什么采用间隔最大化（与感知机的区别）三、SVM的目标（硬间隔）四、求解目标（硬间隔）五、软间隔六、核函数七、如何选择核函数八、关于支持向量机的问题1. KKT条件2. 支持向量3.为什么将原问题转换为对偶问题九、为什么SVM对缺失数据敏感十、SVM的优缺点一、SVM简介SVM是一种二分类模型。它的基本思想是在特征空间中寻找最大的分离超平面使得数据二分类。...
2020-04-05 13:32:44
720
原创 （一）逻辑回归
逻辑回归一、逻辑回归的假设1.关于数据的假设2.关于正类概率计算的假设二、逻辑回归的损失函数三、逻辑回归的求解方法1.批梯度下降2.随机梯度下降3.小批量梯度下降4.上述模型存在的问题4.1 如何对模型选择合适的学习率4.2 如何对参数选择合适的学习率四、逻辑回归的目的五、逻辑回归如何进行分类六、逻辑回归为什么用极大似然函数作为损失函数七、为什么在训练过程中将高度相关的特征去掉？八、逻辑回归的优缺...
2020-04-04 19:53:30
551
转载 自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT）
自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT） 自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT） 最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。就此，我将最近看的一些相关论文进行总结，选取了几个代表性模型（包括ELMo [1]，OpenAI GPT [2]和BERT [3...
2020-04-01 21:15:01
583
原创 几句话搞懂什么是batch
工作实例最后，让我们用一个小例子来说明这一点。假设您有一个包含200个样本（数据行）的数据集，并且您选择的Batch大小为5和1,000个Epoch。这意味着数据集将分为40个Batch，每个Batch有5个样本。每批五个样品后，模型权重将更新。这也意味着一个epoch将涉及40个Batch或40个模型更新。有1000个Epoch，模型将暴露或传递整个数据集1,000次。在整个培训过程中...
2019-09-22 11:02:52
21562
3
原创 05.KMP算法之深度解析(二)
012345678910S:abcababcabxP:abcabx多余abcabx多余abcabxabcabxabcabx匹配abcabxKMP算法：...
2019-09-21 22:53:46
175
原创 05.一文详解KMP算法(一)
空格串：是只包含空格的串，空格串有内容和长度，而且可以不止一个空格。空串：零个字符的串。子串：串中任意个数的连续字符组成的子序列。串的比较：取决于它们挨个字母的前后顺序通过组成串的字符之间的编码来进行（字符的编码指的是字符在对应字符集中的序号）ASCII编码：8位二进制表示一个字符，总共可表示256个字符。（282^828）Unicode编码：16位二进制表示一个字...
2019-09-20 20:17:25
200
原创 03.双向链表(五)
在单链表中，有了next指针，这就使得我们要查找下一结点的时间复杂度为O(1)。可是如果我们要查找的是上一结点，那最坏时间复杂度就是O(n)。因为我们每次都要从头开始遍历查找。为了克服单向性这一缺点，设计双向链表，即设置一个指向其前驱结点的指针域。既然单链表也可以有循环链表，那么双向链表当然也可以是循环表。p.next.prior = p = p.prior.next双向链表的许多操作...
2019-09-18 21:22:05
267
原创 03.循环链表(四)
将单链表中终端结点的指针端由空指针改为指向头结点，就使整个单链表形成一个环，称为循环链表。循环链表解决了一个很麻烦的问题：如何从当中一个结点出发，访问到链表的全部结点。为了使空链表与非空链表处理一致，通常设一个头结点。（但是不是必须的）循环链表和单链表的主要差异就在于循环的判断条件上，原来是判断p.next是否为空，现在则是p.next不等于头结点，则循环结束。...
2019-09-18 21:20:45
201
原创 03.静态链表(三)
对象引用机制，从某种角度也间接实现了指针的某些作用。用数组来代替指针，来描述单链表首先我们让数组的元素都是由两个数据域组成，data和cur。也就是说，数组的每个下标都对应一个data和一个cur。数据域data，用来存放数据元素。cur相当于单链表中的next指针，存放该元素的后继在数组中的下标，将cur叫做游标。用数组描述的链表叫做静态链表，这种描述方法叫做游...
2019-09-18 21:19:11
186
原创 03.线性表的链式存储结构(二)
数据元素可以存在内存未被占用的任意位置。除了存数据元素信息外，还要存储它的直接后继元素的存储地址。数据元素aia_iai的存储映像，称为结点(Node)：数据域、指针域（指针or链）结点由存放数据元素的数据域和存放后继元素结点地址的指针域组成假设P为指向线性表第i个元素的指针结点aia_iai的数据域：ai=P.dataa_i=P.dataai=P.data...
2019-09-18 21:16:10
173
原创 03.线性表的顺序存储结构(一)
线性表的抽象数据类型ADT 线性表(List)Data 线性表的数据对象集合为{a1,a2,...an}，每个元素的类型均为DataType。 其中除第一个元素a1外，每一个元素有且只有一个直接前驱元素，除了最后一个元素an外，每一个元素有且只有一个直接后继元素。 数据元素之间的关系是一一对应的。 在较复杂的线性表中，一个数据元素可以由若干个数据项组成。Operation I...
2019-09-18 21:05:58
173
原创 02.什么是算法?(算法的时间复杂度分析)
算法是解决特定问题求解步骤的描述，在计算机中表现为指令的有限序列，并且每条指令表示一个或多个操作2.1两种算法的比较求：一个1+2+3+…+100# O(n)n = 1sum = 0while n <= 100: sum = sum + n n += 1print(sum)5050# 高斯的方法O(1)n = 100sum = 0sum ...
2019-09-17 16:39:38
462
原创 01.什么是数据结构？(ADT)
数据结构：相互之间存在一种或多种特定关系的数据元素的集合程序设计=数据结构+算法1.1数据数据：描述客观事物的符号。包括：数值类型（整型等）、非数值类型（字符、声音、图像、视频等）。数据是数据元素的集合例如：人类、禽类数据对象：性质相同的数据元素的集合，是数据的子集。将数据对象简称为数据**数据元素：**是组成数据的、有一定意义的基本单位。数据元素是数据结构中建立数据模型的着眼...
2019-09-17 15:25:50
1528
原创 深度学习基础-1
什么是人工智能？学习的能力，是智能的本质。 图像分类：计算机视觉核心任务图像在计算机中长什么样呢？一张图片被表示成三维数组的形式，每个像素的值从0-255例如：3001003挑战：照射角度挑战：光照强度挑战：形状改变挑战：部分遮蔽挑战：背景混入Viewpoint variatio(视角变化)Scale variat...
2019-09-10 10:40:17
135
原创 RNN建模：接收器和生成器
RNN 最简单的应用就是作为一个接收器：读入一个序列，最后产生一个二值或者多分类的结果。RNN是能力很强的学习序列的工具，能够发掘出很复杂的模式。作为特征提取器的RNN：１.词性标注框架：深度双向RNN给定一个含有ｎ个词语的句子，使用一个特征提取函数来把句子转化为输入向量ｘ。输入向量将会被送入一个深度双向RNN中，产生一个输出向量ｙ。每个向量ｙ将被送入到一个MLP中，用于从可能的ｋ个标签中...
2019-09-10 10:38:58
240
转载 fit()和transform()的区别
https://blog.csdn.net/weixin_38278334/article/details/82971752
2019-08-29 16:08:28
174
原创 爬虫301,302问题
xpath语法写的没有问题，但是缺获取不到任何内容，原因是重定向问题。allow_redirects=False的意义为拒绝默认的301/302重定向从而可以通过html.headers[‘Location’]拿到重定向的URL。使用scrapy模块进行爬虫的时候遇到301很302问题。例如：房天下二手房每次刷新都是不同的页面内容。...
2019-07-29 11:15:42
1213
原创 pyecharts中的Bar函数改动
导入Bar: from pyecharts.charts import Bar原来的代码： chart = Bar("中国天气最低气温排行榜") chart.add('',cities,temps) chart.render('temperature.html')错误分析：Bar()函数不能传入参数。而且add()方法已经去除。修改后代码： chart = Bar()...
2019-07-24 16:25:19
7457
4
原创 深度学习的一些基础概念理解
深度学习中IU、IoU(Intersection over Union)的概念理解以及python程序实现目标检测(Object Detection)的前世与今生(一)Object-Detection中常用的概念解析
2019-07-02 15:35:42
193
原创 神经网络入门
整理了一些感觉还可以的入门博客：阮一峰的网络日志神经网络与深度学习Python yield 使用浅析卷积神经网络(CNN)学习笔记深度卷积神经网络学习笔记（一）卷积神经网络中用1 * 1卷积有什么作用或者好处呢？一文看懂卷积神经网络操作原理 ...
2019-07-02 11:24:14
232
原创 python学习
Python最简编码规范#!/usr/bin/env python# -*- coding: UTF-8 -*-# coding=utf-8 """@author: Li Tian@contact: [email protected]@software: pycharm@file: word_deal3.py@time: 2019/2/23 16:36@desc: 从文本文件中...
2019-07-02 11:23:56
106
原创 安装TensorFlow-GPU版本指南
手把手在Windows上安装TensorFlow无坑教程ubuntu16.04 安装tensorflow-gpu1.3 cuda8 cudnn6.0Win10下Tensorflow(GPU版)安装趟坑实录新电脑重新安装win10+python3.6+anaconda+tensorflow1.12（gpu版）tensorflow-windows-CUDA版本...
2019-07-02 11:23:46
410
转载 为函数提供说明文档
使用 Python 内置的 help() 函数查看其他函数的帮助文档，我们也经常通过 help() 函数查看指定函数的帮助信息，这对于 Python 开发者来说非常重要。我们还可以为函数编写说明文档，只要把一段字符串放在函数声明之后、函数体之前，这段字符串将被作为函数的部分，这个文档就是函数的说明文档。程序既可通过 help() 函数查看函数的说明文档，也可通过函数的 doc 属性访问函数的说...
2019-07-02 10:46:19
1387
原创 9.神经语言模型
1.语言模型语言模型仅仅对句子出现的概率进行建模，并不尝试去“理解”句子的内容含义。语言模型告诉我们什么样的句子是常用句子（挑选较为合理的句子的作用），但无法告诉我们两句话的意思是否相似或者相反。SeqSeq模型可以看作一个条件语言模型，它相当于是在给定输入的情况下对目标语言的所有句子估算概率，并选择其中概率最大的句子作为输出。假设一门语言的词汇量为V，如果将p(Wm|W1,W2,W3,…W...
2019-06-27 16:14:25
492
原创 8.循环神经网络
1.RNN循环神经网络有挖掘数据中的时序信息以及语义信息的深度表达能力。循环神经网络的主要用途是处理和预测序列数据。BP和CNN网络，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或部分连接的，但每层之间的节点是无连接的。RNN的隐藏层之间的节点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。每一时刻t，RNN都会针对该时刻的输入结合当...
2019-06-27 10:36:21
750
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人