![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 52
StarCoder_Yue
求知若渴,虚怀若谷
展开
-
《动手学深度学习》Task08:文本分类;数据增强;模型微调
Task08:文本分类;数据增强;模型微调1.文本分类文本情感分类文本分类是自然语言处理的一个常见任务,它把一段不定长的文本序列变换为文本的类别。本节关注它的一个子问题:使用文本情感分类来分析文本作者的情绪。这个问题也叫情感分析,并有着广泛的应用。同搜索近义词和类比词一样,文本分类也属于词嵌入的下游应用。在本节中,我们将应用预训练的词向量和含多个隐藏层的双向循环神经网络与卷积神经网络,来判...原创 2020-02-25 17:45:56 · 441 阅读 · 0 评论 -
《动手学深度学习》Task07:优化算法进阶;word2vec;词嵌入进阶
Task07:优化算法进阶;word2vec;词嵌入进阶1.优化算法进阶Momentum在 Section 11.4 中,我们提到,目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此,梯度下降也叫作最陡下降(steepest descent)。在每次迭代中,梯度下降根据自变量当前位置,沿着当前位置的梯度更新自变量。然而,如果自变量的迭代方向仅仅取决于自变量当前位置,这...原创 2020-02-25 14:04:30 · 434 阅读 · 0 评论 -
《动手学深度学习》Task06 :批量归一化和残差网络;凸优化;梯度下降
Task06 :批量归一化和残差网络;凸优化;梯度下降1.批量归一化(BatchNormalization)对输入的标准化(浅层模型)处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化(深度模型)的作用利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接...原创 2020-02-25 10:23:28 · 487 阅读 · 0 评论 -
《动手学深度学习》Task04 :卷积神经网络基础;leNet;卷积神经网络进阶
Task04 :卷积神经网络基础;leNet;卷积神经网络进阶1.卷积神经网络基础下面是一些卷积神经网络的基本概念:二维互相关运算二维互相关(cross-correlation)运算的输入是一个二维输入数组和一个二维核(kernel)数组,输出也是一个二维数组,其中核数组通常称为卷积核或过滤器(filter)。卷积核的尺寸通常小于输入数组,卷积核在输入数组上滑动,在每个位置上,卷积核与该...原创 2020-02-18 17:03:58 · 283 阅读 · 0 评论 -
《动手学深度学习》Task04 :机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer
Task04 :机器翻译及相关技术;注意力机制与Seq2seq模型;Transformer1.机器翻译及相关技术机器翻译和数据集机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。 主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。步骤:1.读取数据2.数据预处理3.分词:将字符串变成单词...原创 2020-02-18 15:14:09 · 339 阅读 · 0 评论 -
《动手学深度学习》Task03 :过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶
Task03 :过拟合、欠拟合及其解决方案;梯度消失、梯度爆炸;循环神经网络进阶1. 过拟合、欠拟合及其解决方案训练误差和泛化误差在解释上述现象之前,我们需要区分训练误差(training error)和泛化误差(generalization error)。通俗来讲,前者指模型在训练数据集上表现出的误差,后者指模型在任意一个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来...原创 2020-02-17 23:03:22 · 406 阅读 · 0 评论 -
《动手学深度学习》Task02 文本预处理;语言模型;循环神经网络基础
Task02:文本预处理;语言模型;循环神经网络基础1.文本预处理文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤:(1)读入文本例:我们用一部英文小说,即H. G. Well的Time Machine,作为示例,展示文本预处理的具体过程。import collectionsimport redef read...原创 2020-02-13 22:14:20 · 287 阅读 · 0 评论 -
《动手学深度学习》Task01线性回归;Softmax与分类模型、多层感知机
首先感谢伯禹教育、Datawhale、和鲸科技和各位志愿者给我们的这个机会来组织大家一起学习,本次学习的内容是《动手学深度学习PyTorch版》。Task01:线性回归;Softmax与分类模型、多层感知机1.线性回归: ** **线性回归的基本要素:**模型:对于线性回归,我们需要确定其模型,我们初设为输出与各个输入之间是线性关系,确定了模型之后再来确定模型的参数。数据集:我...原创 2020-02-13 17:16:09 · 424 阅读 · 0 评论 -
决策树优化及回归树
学习打卡内容: 阅读《李航统计学习方法》的65-74页 学习Gini指数 学习回归树 剪枝 前面任务八里面我们已经了解到策树以及决策树的几种算法如 ID3算法 C4.5算法 我们已经了解,在生成了决策树之后,可能发生过拟合现象,我们需要对已经生成的树自下而上进行剪枝,将树变得更简单,从而使它具有更好的泛化能力。具体来说,就是去掉过...原创 2019-06-20 18:53:03 · 904 阅读 · 0 评论 -
逻辑回归基础
学习打卡内容:观看李宏毅机器学习P9 推导LR损失函数(1) 学习LR梯度下降(2) 利用代码描述梯度下降(3) Softmax原理(4)softmax损失函数(5)softmax梯度下降(6)视频部分核心知识点:LR(LogisticRegression)损失函数与梯度下降公式推导:梯度下降公式推导:Soft...原创 2019-06-03 17:46:49 · 243 阅读 · 0 评论 -
决策树算法
学习打卡内容:理解决策树以及决策树的几种算法 总结决策树模型结构 理解决策树递归思想 学习信息增益 学习信息增益率 学习ID3算法优缺点 学习C4.5算法优缺点 理解C4.5算法在ID3算法上有什么提升 学习C4.5算法在连续值上的处理 学习决策树如何生成 代码实现决策树 划分数据集代码 选择最好的数据集划分方式代码 创建树的函数代码 ...原创 2019-06-08 17:18:45 · 507 阅读 · 0 评论 -
Jupyter Notebook 快捷键(转)
Jupyter Notebook 快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式,允许你往单元中键入代码或文本;这时的单元框线是绿色的。命令模式,键盘输入运行程序命令;这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter: 转入编辑模式 Shift-Enter: 运行本单元,选中下个单元 Ctrl-Enter: 运行本单元 Alt-Ente...转载 2019-06-06 15:41:49 · 174 阅读 · 0 评论 -
决策树熵公式推导
学习打卡内容:学习Datawhale对《李宏毅机器学习》决策树章节补充的内容:Additional References(熵的理解) 个人需得推导其中的公式,对熵的概念理解透彻 计算负责人提供的数据集的shangnonEnt 2 熵考虑另一个问题,对于某个事件,有nn种可...原创 2019-06-05 12:25:23 · 1389 阅读 · 0 评论 -
机器学习基础概念
任务目录:理解偏差和方差学习误差为什么是偏差和方差而产生的,并且推导数学公式过拟合,欠拟合,分别对应bias和variance什么情况学习鞍点,复习上次任务学习的全局最优和局部最优解决办法有哪些梯度下降学习Mini-Batch与SGD学习Batch与Mini-Batch,SGD梯度下降的区别如何根据样本大小选择哪个梯度下降(批量梯度下降,Mini-Batch)写出SGD和Mi...原创 2019-05-17 15:31:54 · 311 阅读 · 0 评论 -
机器学习入门之基础概念及线性回归
任务目录什么是Machine learning学习中心极限定理,学习正态分布,学习最大似然估计推导回归Loss function学习损失函数与凸函数之间的关系了解全局最优和局部最优学习导数,泰勒展开推导梯度下降公式写出梯度下降的代码学习L2-Norm,L1-Norm,L0-Norm推导正则化公式说明为什么用L1-Norm代替L0-Norm学习为什么只对w/Θ做限制,不对b...原创 2019-05-13 09:47:14 · 338 阅读 · 0 评论 -
大数据入门
大数据:大数据是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。(引自Gartner)大数据的四大特征:1、Volume数据体量大2、Velocity 数据产生的速度快3、Value 数据价值密度较低 4、Variety 数据类型繁多...原创 2017-08-09 12:00:33 · 473 阅读 · 0 评论 -
大数据框架之Spark框架
大数据软件框架之Spark框架:Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以原创 2017-08-10 08:02:32 · 4637 阅读 · 2 评论 -
Linux常用命令(转载)
常用指令ls 显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录,包括隐藏的a(all)mkdir 创建目录 -p 创建目录,若无父目录,则创建p(parent)cd 切换目录touch转载 2017-11-13 15:36:19 · 259 阅读 · 0 评论 -
树的三种存储结构(转)
出处为: http://blog.csdn.net/smile_from_2015/article/details/636876966.2树的定义之前我们一直在谈的是一对一的线性结构,可现实中,还有很多一对多的情况需要处理,所以我们需要研究这种一对多的数据结构----"树",考虑它的各种特性,来解决我们在编程中碰到的相关问题。树(Tree)是n(n>=0)个结点的有限集。n=0时称为空树。在...转载 2018-03-15 15:10:58 · 455 阅读 · 0 评论 -
随机数生成并写入文件(C实现)
#include <stdlib.h> #include <stdio.h> #include <time.h> //生成随机数列 int write() { int i,j; FILE *pf = NULL; int a1[50],a2[50]; srand((unsigned)time...原创 2018-04-14 14:56:18 · 4849 阅读 · 0 评论 -
STL基本使用方法总结及一些补充
(Hint:如果在main函数中定义STL的话会比较费时间,对于某些题目来说会超时,所以一般将STL定义为全局变量,这样的话快很多~)一、vector向量容器头文件#include <vector>1.创建vector对象(1)不指定容器大小vector<int> V;(2)指定容器大小vector<int> V(10);(3)指定容器大小和初始值vector&...转载 2018-05-05 09:50:31 · 414 阅读 · 0 评论 -
近来学习感悟(不定期更新)
首先总结一下最近学习的东西: STL较为常用的数据结构如Map、Set、Stack、String、List、Queue、Priority_queue的一些基础例子和用法(了解了部分的实现及底层) Coursera 上 Andrew Ng 教授的机器学习课程学到了第六周末尾,评测机器学习算法和解决常见问题如高偏差/高方差问题。 学到了一些排序算法的实现如简单桶排序、快速排序、冒泡排序等。...原创 2018-05-08 10:01:25 · 738 阅读 · 0 评论 -
凸优化和非凸优化
数学中最优化问题的一般表述是求取,使,其中是n维向量,是的可行域,是上的实值函数。 凸优化问题是指:是闭合的凸集且是上的凸函数的最优化问题,这两个条件任一不满足则该问题即为非凸的最优化问题。 其中,是 凸集是指对集合中的任意两点,有,即任意两点的连线段都在集合内,直观上就是集合不会像下图那样有“凹下去”的部分。至于闭合的凸集,则涉及到闭集的定义,而闭集的定义...转载 2018-05-21 20:45:10 · 12664 阅读 · 0 评论 -
汇编语言debug参数使用
最近在学习汇编语言,debug指令经常用到,所以有必要对各个指令做一个总结加深理解和记忆。(针对8086) Debug调试程序是以DOS外部命令程序形式提供的,它的文件名为Debug.com 。如果你使用的是windows系统,那么如果是32位的电脑,一般都自带有debug调试工具,而64位的一般没有自带这个工具,需要自己进行安装。XP系统暂时不作介绍,读者可以参照我介绍的方法...原创 2018-06-13 10:18:39 · 736 阅读 · 0 评论 -
2018AI开发者大会参会感悟
2018AI开发者大会参会感悟 首先是八点多就到了会场,然后感受了一下诺金九点的豪华之后就进入了主会场。大会刚开始以后主持人的声音非常好听,第一位亚马逊首席科学家Nikko Storm 介绍的是深度学习在亚马逊Alexa中的应用,然后通过一些视频的介绍让我们很好的感受到了Alexa的智能,当然全程是英文,还是听懂了的。接...原创 2018-11-11 14:07:18 · 924 阅读 · 1 评论 -
python基础任务六 打卡
任务六 时长:2天啥是佩奇代码复现参考链接:https://mp.weixin.qq.com/s/whtJOrlegpWzgisYJabxOg https://www.cnblogs.com/nowgood/p/turtle.htmlpython2.6版本中后引入的一个简单的绘图工具,叫做海龟绘图(Turtle Graphics),tur...原创 2019-04-11 12:46:36 · 285 阅读 · 0 评论 -
贝叶斯公式、逻辑回归与线性回归
学习打卡内容: 从基础概率推导贝叶斯公式,朴素贝叶斯公式 先验概率与后验概率 学习LR和linear regreeesion之间的区别 推导sigmoid function公式 李宏毅机器学习P8部分截图一、贝叶斯以及朴素贝叶斯公式推导二、先验概率与后验概率先验概率是指根据以往经验和分析得到的概...原创 2019-05-25 19:04:13 · 888 阅读 · 0 评论 -
XML格式数据与JSON格式数据学习笔记
XML格式的数据 XML:扩展标记语言(eXtensible MarkupLanguage),它是一种标记语言,是标准通用标记语言的子集,它可以用来标记数据,定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言。XML是一种标记语言,类似于HtmlXML是为了传输数据而非显示数据XML标签必须自行定义XML语法规则1.所有元素都必须有关闭标签 2.XML标签对大小写敏感 3.原创 2017-08-08 11:37:34 · 368 阅读 · 0 评论