- 博客(39)
- 收藏
- 关注
RSS订阅
原创 程序人生 | (7) “新一五计划”(博客导航)
个人GithubNLP顶会截稿时间去年9月底，我大四的时候，曾写了一篇题为“一五计划”的博文，这也是我正式写博客以来的第一篇，其中粗浅的表达了我对入门深度学习和自然语言处理的一些看法和学习路线。一年过去了，我正式成为了一名博士研究生，第一个五年正式开始，新的风暴已然出现。在2019年即将结束之际，我觉得有必要对之前的路线做一下更新，因此推出“新一五计划”，与时俱进，保持先进性。“新一五计划...
2019-12-27 22:22:30
1314
2
转载 林轩田机器学习 | 机器学习技法课程笔记10 --- Random Forest
上节课我们主要介绍了Decision Tree模型。Decision Tree算法的核心是通过递归的方式，将数据集不断进行切割，得到子分支，最终形成树的结构。C&RT算法是决策树比较简单和常用的一种算法，其切割的标准是根据纯度来进行，每次切割都是为了让 分支内部纯度最大。最终，决策树不同的分支得到不同的 (即树的叶子，C&RT 算法中， 是常数)。本节课将介绍随机森林(Random...
2019-12-31 15:46:43
439
转载 林轩田机器学习 | 机器学习技法课程笔记9 --- Decision Tree
上节课我们主要介绍了Adaptive Boosting。AdaBoost演算法通过调整每笔资料的权重(数据集中每个样本的采样频率)，得到不同的hypotheses，然后将不同的hypothesis乘以不同的系数进行线性组合。这种演算法的优点是，即使底层的假设 g不是特别好(只要比乱选好点)，经过多次迭代后算法模型会越来越好，起到了boost提升的效果。本节课将在此基础上介绍 一种新的aggrega...
2019-12-31 11:54:47
348
转载 林轩田机器学习 | 机器学习技法课程笔记8 --- Adaptive Boosting
上节课我们主要开始介绍Aggregation Models，目的是将不同的hypothesis集合起来，利用集体智慧得到更好的预测模型G。首先我们介绍了Blending，blending是将已存在的所有结合起来，可以是uniformly，linearly，或者nonlinearly组合形式。然后，我们讨论了在没有那么多的情况下，使用bootstrap方式，从已有数据集中采样得到新的类似的数...
2019-12-30 16:06:10
444
1
转载 机器学习 | 台大林轩田机器学习技法课程笔记7 --- Blending and Bagging
上节课我们主要介绍了Support Vector Regression，将kernel model引入到regression中。首先，通过将ridge regression和representer theorem结合起来，得到kernel ridge regression。但是其解是dense的，即大部分不为零。为了得到sparse解，我们将regularized tube error和Lagra...
2019-12-30 12:01:41
436
转载 Python杂谈 | (11) lightgbm+MacOS+Anaconda 安装
lightgbm+MacOS+Anaconda 安装 原创 ...
2019-12-27 19:19:01
295
转载 程序人生 | (5) 吴恩达：关于机器学习职业生涯以及阅读论文的一些建议
原文链接本文总结了斯坦福大学CS230深度学习课程在YouTube上的演讲：对职业发展的一些建议以及阅读研究论文的方法。视频链接Andrew特别提出两项主要建议：1）阅读研究论文：他使用的非常有效的技巧，当他试图在深度学习中掌握一个新主题时，他会阅读研究论文。2）在机器学习领域开创事业的建议。目录1. 读研究论文2. 如何读论文？3. 理解一篇论文需要花多少时间？...
2019-12-24 19:49:11
457
原创 文本分类(一) | (9) 项目组织结构
项目Github地址在学习某个深度学习框架时，掌握其基本知识和接口固然重要，但如何合理组织代码，使得代码具有良好的可读性和可扩展性也必不可少。本文不会深入讲解过多知识性的东西，更多的则是传授一些经验，关于如何使得自己的程序更pythonic，更符合pytorch的设计理念。这些内容可能有些争议，因其受我个人喜好和coding风格影响较大，你可以将这部分当成是一种参考或提议，而不是作为必须遵循的...
2019-12-21 22:17:09
5525
1
原创 文本分类(一) | (8) DPCNN
项目Github地址本篇博客主要介绍基于DPCNN的文本分类算法的原理及实现细节。目录1. 分类原理2. 实现细节1. 分类原理ACL2017年中，腾讯AI-lab提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。论文中提出了一种基于word-level级别的网络-DPC...
2019-12-21 22:17:07
1391
原创 文本分类(一) | (7) 多层双向LSTM with Attention
项目Github地址本篇博客主要介绍基于多层双向LSTM with Attention的文本分类算法的原理及实现细节。目录1. 分类原理2. 实现细节1. 分类原理多层双向LSTM with Attention对多层双向LSTM模型做了一些改进，不再单纯地只利用最后时刻的隐藏状态（两个方向最后时刻隐藏状态拼接）进行分类，而是考虑每个时间步的隐藏状态，对每个时间步的隐藏状...
2019-12-21 22:17:01
3208
5
原创 文本分类(一) | (6) 多层双向LSTM
项目Github地址本篇博客主要介绍基于多层双向LSTM的文本分类算法的原理及实现细节。目录1. 分类原理2. 实现细节1. 分类原理对于输入文本序列，在LSTM的每个时间步输入序列中一个单词的嵌入表示，计算当前时间步的隐藏状态，用于当前时间步的输出以及传递给下一个时间步和下一 个单词的词向量一起作为LSTM单元输入，然后再计算下一个时间步的LSTM隐藏状态，以此重复...
2019-12-21 22:16:48
4440
1
原创 文本分类(一) | (5) RCNN
项目Github地址本篇博客主要介绍基于RCNN的文本分类算法的原理及实现细节。目录1. 分类原理2. 实现细节1. 分类原理上图中中间是输入文本中每个单词的嵌入表示，左右使用双向RNN分别学习当前词的左上下文表示和右上下文表示,与当前词本身的词向量连接，构成后续卷积层的输入。具体如下：与TextCNN比较类似，都是把文本表示为一个嵌入矩阵，再进行卷积操作。不...
2019-12-21 22:16:43
749
原创 LaTex论文排版 | (24) 插入超链接和目录
目录1. 插入超链接2. 插入目录1. 插入超链接\documentclass{article}\usepackage{amsmath} \usepackage{ctex}\usepackage[colorlinks,linkcolor=blue]{hyperref} %插入超链接所需要的宏包 可以设置一些属性 如颜色等\begin{document} %正文...
2019-12-20 14:42:33
4544
原创 文本分类(一) | (2) 数据集及预处理
项目Github地址我们的文本分类系统使用的是THUCnews数据集。目录1. 数据集简介2. 数据预处理3. 具体细节1. 数据集简介THUCNews是根据新浪新闻RSS订阅频道2005~2011年间的历史数据筛选过滤生成，包含74万篇新闻文档（2.19 GB），均为UTF-8纯文本格式。我们在原始新浪新闻分类体系的基础上，重新整合划分出14个候选分类类别：财经、彩票...
2019-12-19 19:23:32
9375
5
原创 文本分类(一) | (4) TextCNN
项目Github地址本篇博客主要介绍基于TextCNN的文本分类算法的原理及实现细节。目录1. 分类原理2. 实现细节1. 分类原理TextCNN可以从两个角度来解读，既可以把它看作但输入通道的2维卷积也可以把它看作多输入通道的1维卷积（其中词嵌入维度为通道维），二者其实是等价的。如果把它看作一个单输入通道的2维卷积的话，它的分类流程就如上图所示。1）把输入文...
2019-12-19 18:16:45
927
1
原创 文本分类(一) | (3) FastText
项目Github地址本篇博客主要介绍基于FastText的文本分类算法的原理及实现细节。目录1. 分类原理2.实现细节1. 分类原理输入样本是一系列整数索引(),对应词典中相应的词，通过embedding 得到每个词对应的词向量。对样本（文本）中每个词对应的词向量求平均，再通过一个全连接层进行分类即可。2.实现细节class FastText(BasicM...
2019-12-19 18:06:16
747
原创 文本分类(一) | (1) 任务定义
项目Github地址近年来，文本的数量呈指数增长，为了能在许多应用中准确地对文本进行分类，需要对机器学习方法有更深入的了解。许多机器学习方法在自然语言处理方面都取得了突破性的结果。这些学习算法的成功取决于其拟合数据中存在的非线性关系的能力。然而，寻找一种普适、通用的文本分类技术对研究人员来说仍然是一个巨大的挑战。在文本分类专栏系列博客中，我将系统的介绍如何搭建一个完整的文本分类系统，包括数...
2019-12-19 17:56:26
3546
原创 自然语言处理 | (12)基于统计的语言模型构建
统计语言模型：自然语言从它产生开始，逐渐演变成一种上下文相关的信息表达和传递方式。因此让计算机处理自然语言，一个基本问题就是为自然语言这种上下文相关的特性建立数学模型，这个数学模型就是在自然语言处理中常说的统计语言模型(Statistical Language Model)。它是今天所有自然语言处理的基础，并且广泛应用于机器翻译、语音识别、印刷体或手写体识别、拼写纠错、汉字输入和文献查询。...
2019-12-18 14:12:07
3670
2
原创 LaTex论文排版 | (23) LaTex中的正上、正下标记以及各种箭头符号总结
目录1. 正上、正下标记2. 常用箭头符号3. 更多箭头符号1. 正上、正下标记\documentclass{article}\usepackage{amsmath}\usepackage{amssymb}\begin{document} %一般的上下标 $a^{\leftarrow}$ $a_{\leftarrow}$ %正上下标 %正上标 $\ov...
2019-12-15 14:00:56
19341
原创 Mac系统随笔 | (4) 使用Mac的"预览"添加、删除或移动pdf页面
1. 使用Mac电脑的"预览"应用程序打开想要更改的pdf文件。2. 可以选择执行添加、删除或移动操作：给 PDF 添加页面：在左边的缩略图中（如果没有缩略图，则点击显示->并勾选缩略图 即可），选择当前pdf文件的一个页面，点击编辑->插入，然后选取空白页或页面(来自文件)。那么空白页或另一个文件中的页面就插到了当前页面之后。 删除pdf中的页面：点击显示->...
2019-12-15 13:26:23
1091
原创 深度学习 | (5) 2分类、多分类问题评价指标以及在sklearn中的使用
目录1. 二分类评价指标2. 多分类评价指标3. 总结1. 二分类评价指标常用的二分类评价指标包括准确率、精确率、召回率、F1-score、AUC、ROC、P-R曲线、MCC等混淆矩阵2分类问题的混淆矩阵是2*2的，通常以关注的类为正类，另一个类为负类，分类器在数据集上的预测或者正确或者不正确，我们有4种情况：1）TP:True Positive，实际为正类并预测为正...
2019-12-14 12:24:37
17622
3
原创 LaTex论文排版 | (22) argmax、argmin下标使用方法及任意、存在符号
目录1. argmax、argmin下标使用方法2. 任意与存在符号1. argmax、argmin下标使用方法当我们编辑公式时，可能会遇到一些优化问题的表示，会遇到arg max，arg min，max，min等符号，正确的编辑方法如下\begin{equation} %\| \| 可以表示范数或模长符号 %可以用 \mathrm{} 对J进行修饰 %使用\ma...
2019-12-12 16:15:26
7522
1
原创 深度学习 | (4) 分类问题的Label为啥是one-hot？
在上两次博客中，我们定义分类问题的损失函数，其中用到的Label都是one-hot形式，其实真不一定必须用one-hot，不过用one-hot的主要因素包括（在PyTorch中我们不用显式地自己把标签（一维列表或一维数组形式的整数索引）转换为one-hot形式，函数内部会自动转换）：one hot的形式无法比较大小。如果你预测的label是苹果，雪梨，香蕉，草莓这四个，显然他们不直接构成...
2019-12-12 09:40:07
3277
原创 LaTex论文排版 | (21) 图表caption居中显示
图表caption无法居中问题解决方案在导言区添加一行代码(使用宏包)：\usepackage[justification=centering]{caption}
2019-12-11 21:25:04
30358
8
转载 深度学习 | (3) Pytorch中的分类问题损失函数
前言：pytorch中有几个非常容易搞混淆的函数，它们是softmax和log_sof...
2019-12-11 20:40:15
12943
1
原创 数学基础 | (4) cs229线性代数基础
目录1. 基本概念和符号2. 矩阵乘法3. 运算和属性4. 矩阵微分1. 基本概念和符号线性代数提供了一种紧凑地表示和操作线性方程组的方法。例如，以下方程组：这是两个方程和两个变量，正如你从高中代数中所知，你可以找到和的唯一解（除非方程以某种方式退化，例如，如果第二个方程只是第一个的倍数，但在上面的情况下，实际上只有一个唯一解）。在矩阵表示法中，我们可以更紧凑地表达...
2019-12-10 13:15:26
347
原创 深度学习 | (2) 二分类、多分类与多标签分类的区别与损失函数
目录1. 基本概念2. 2分类问题2. 多分类问题3. 多标签分类问题参考文章1. 基本概念 2分类 分类任务有两个类别，每个样本属于两个类别中的一个，标签0/1.比如：训练一个图像分类器，判断一张输入图片是否是猫。多分类分类任务有n个类别，每个样本属于n个类别中的一个，每个样本有且只有一个标签。比如：新闻文本分类，每个样本/新闻只有一个主题标签，如：政治、...
2019-12-09 21:27:57
11213
1
原创 数学基础 | (3) cs229概率论基础
目录1. 概率的基本要素2. 随机变量3. 两个随机变量4. 多个随机变量1. 概率的基本要素为了定义集合上的概率，我们需要一些基本元素：样本空间:随机实验的所有结果的集合(所有样本点的集合)。在这里，每个结果（样本点）可以被认为是实验结束时现实世界状态的完整描述。事件集(事件空间) F:事件,事件A是的子集，即是一个实验可能结果的集合(包含一些样本点)。F需...
2019-12-09 19:51:14
591
原创 数学基础 | (2) 概率论与数理统计
目录1. 随机事件和概率2. 随即变量及其概率分布3. 多维随机变量及其分布4. 随机变量的数字特征5. 数理统计的基本概念1. 随机事件和概率事件的关系与运算运算律德.摩根律完全事件组概率基本公式事件的独立性独立重复试验重要公式和结论2. 随即变量及其概率分布随机变量及概率分布取值带有随机性的变量，严格地说是...
2019-12-09 10:12:27
230
原创 数学基础 | (1) 高等数学
目录1. 一元函数导数与微分2. 微分中值定理3. 泰勒公式4. 函数单调性1. 一元函数导数与微分一元函数导数的定义f(x)在x0处的导数：一元函数左右导数的几何意义和物理意义函数f(x)在x0处的左、右导数分别定义为：一元函数的可导性与连续性之间的关系平面曲线的切线和法线四则运算法则基本导数与微分表复合函数，反函数，隐函数以及...
2019-12-08 15:32:45
468
1
原创 吴恩达深度学习 | (27) 序列模型专项第三周学习笔记
课程视频第三周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第五部分序列模型专项的第三周课程：序列模型和注意力机制。目录1. 多样的Seq2Seq结构2. 选择最可能的句子3. 集束搜索4. 改进集束搜索5. 集束搜索的误差分析6. Bleu得分7. 注意力模型直观理解8. 语音识别9. 触发字检测1. 多样的Seq2...
2019-12-06 21:59:00
823
原创 吴恩达深度学习 | (24) 序列模型专项第二周学习笔记
课程视频吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第五部分序列模型专项的第二周课程：自然语言处理与词嵌入。目录1. 词汇表征2. 使用词嵌入3. 词嵌入的特性4. 嵌入矩阵5. 学习词嵌入6. Word2Vec7. 负采样8. GloVe词向量9. 情感分类10 . 词嵌入除偏1. 词汇表征上周我们学习了RNN、GRU单元和L...
2019-12-06 12:15:28
1035
原创 吴恩达深度学习 | (20) 序列模型专项课程第一周学习笔记
课程视频第一周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第五部分序列模型专项的第一周课程：循环序列模型。目录1. 为什么选择序列模型？2. 数学符号3. 循环神经网络模型4. 通过时间的反向传播5. 不同类型的循环神经网络6. 语言模型和序列生成7. 对新序列采样8. 循环神经网络的梯度消失9. GRU单元10. 长短期记忆L...
2019-12-05 17:20:56
1311
原创 LaTex论文排版 | (20) LaTex首行缩进
LaTeX默认的第一段不是首行缩进的, 这不符合我们的中文习惯.要实现首行缩进也很简单。在导言区使用宏包:\usepackage{indentfirst} 使用命令设置缩进的距离 :\setlength{\parindent}{2em} %2em代表首行缩进两个字符此时所有段落的首行都会缩进：如果某一段不想首行缩进，可以在段落前面使用命令\noindent；同样，...
2019-12-05 09:56:04
61966
3
原创 LaTex论文排版 | (19) LaTex中的插图问题
在使用LaTex编辑文档时，我们经常要插入一些图片。一般情况下，我们会使用浮动体来插入图片，但是有时会因为图片大小问题，出现一些排版问题(如图片和引用分离等)。接下来将详细介绍这种问题的解决办法。目录1. 相关参数含义2. 相关情况分析1. 相关参数含义图片浮动体运行结果见图\ref{fig-res3}： %通过\ref进行引用 实现交叉引用%figure浮动体环境 可...
2019-12-04 19:59:20
7854
1
原创 吴恩达深度学习 | (18) 卷积神经网络专项课程第二周学习笔记
课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第四部分卷积神经网络专项的第二周课程：深度卷积网络：实例探究。目录1. 为什么要进行实例探究2. 经典网络3. 残差网络(ResNets)4. 残差网络为什么有用？5. 网络中的网络以及1*1卷积6. 谷歌Inception网络简介7. Inception网络8. 使用开源的实现...
2019-12-04 17:23:54
3323
原创 吴恩达深度学习 | (16) 卷积神经网络专项课程第一周学习笔记
课程视频第一周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第四部分卷积神经网络专项的第一周课程：卷积神经网络。目录1. 计算机视觉2. 边缘检测示例3. 更多边缘检测内容4. Padding5. 卷积步长6. 三维卷积7. 单层卷积网络8. 简单卷积网络示例9. 池化层10. 卷积神经网络示例11. 为什么使用卷积？1....
2019-12-04 13:01:47
1367
原创 吴恩达深度学习 | (15) 结构化机器学习项目专项课程第二周学习笔记
课程视频第二周PPT汇总吴恩达深度学习专项课程共分为五个部分，本篇博客将介绍第三部分结构化机器学习项目专项的第二周课程：机器学习(ML)策略(2) 。1. 进行误差分析如果你希望让学习算法能够胜任人类能做的任务，但你的学习算法还 没有达到人类的表现，那么人工检查一下你的算法犯的错误也许可以让你了解接下来应该做 什么。这个过程称为错误分析，我们从一个例子开始讲吧。...
2019-12-03 14:54:18
1438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人