自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 梯度下降(gradient descent)

泰勒展开式:如果红色圆圈足够小,在红色圆圈内找到误差最小的值是L(优化器: 找出一个参数,越贴近越好,降低的Loss越多越好。调整learning-rate。找到一组参数获得最低的L(找到最小值在红色圆圈内。

2022-12-26 13:23:44 127

原创 回归(案例学习)

而如果在训练数据上效果较好,而测试集上效果不好说明variance过大,属于过拟合状态。在测试数据集上明显是不是随着阶次升高误差越低,很明显达到一个折点之后效果变差。所以大概可以得出较好的模型:在最高阶为3时达到最好结果。当训练集的损失越小但测试集的损失越大的时候,达到过拟合。而使用平滑可以使数据更加整齐,但也容易丢失重要数据。对数据的特点不够了解。越大在训练数据集的效果越差,而在测试集的效果越好。每一种的数据进行综合的线性函数的拟合过后实现。平均误差在测试数据集>训练数据上的测试误差。

2022-12-25 23:04:18 215

原创 深度学习神经网络学习日记

1.设置beta1,beta22.取出第一步的均值标准差,第二步值的均值标准差3.第一步= beta1*均值标准差+(1-beta1)*梯度第二部方差 = beta2*均值标准差+(1-beta2)*二阶梯度时间步+=14.存回momentum_memory5.归一化操作保留一阶矩,二阶矩,使用二者归一化更新方向。

2022-12-17 22:47:45 160

原创 python基础学习笔记

最简单的表达式就是字面量。运行过程中,解释器先运行右边的表达式,生成一个代表表达式运算结果的对象;#对象的本质就是:一个内存块,拥有特定的值,支持特定类型的相关操作。#第一个字符必须是字母、下划线。其后的字符是:字母、数字、下划线。#Python中一切皆对象,每个对象由标识、类型、值组成。比如:if、or、while等。#以双下划线开头和结尾的名称通常由特殊含义。1.jupyter notebook编程。2.按照turtle库进行绘画。#如:sxt和SXT是不同的。# 变量的声明和赋值。

2022-12-15 20:45:33 100

原创 深度学习神经网络学习日记

BP神经网络#线性层1.设置偏置项(bias)2.进行高斯随机变量,归一化保持梯度不会下降得太快3.注册参数,weight计算出参数4.先将bias注册为05.设置偏置参数#前馈层1.batch_size设置2.两个矩阵(x阵,权重阵)进行点乘做内积3.如果偏置项存在,循环一遍batch_size相加。

2022-12-15 20:34:38 128

原创 NLP基础核心技术(语法模型和语法树)

Count(Wk)单个词的个数,|V|是指不同词的个数,所以将序列个数加一除以单个词的个数加上所有不同词的个数,加上V的原因在于不同词的个数是进行一个平滑化的,将分母变大以便数字的小于1。(马尔可夫性)P(篮球|我,要,去,打)约等于P(篮球|打)(2-gram)约等于P(篮球|去,打)(3-gram).....(n-gram)基于前面的n-1个词。n-gram就是将每一个式子相乘得出结果:P(Wn|Wn-1)P(Wn-1|Wn-2)P(Wn-2|Wn-3)...P(W2|W1)P(W1)

2022-11-24 15:13:00 690

原创 初学NLPday4笔记

简单来说,对于t=5来说,其实就是相当于把一个神经元拉伸成5个,换句话说,S就是我们所说的记忆。LSTM中最重要的是cell state,它一路向下,贯穿这个时间线,代表了记忆的纽带,它会被XOR和AND运算符进行运算来更新记忆。基本概念:通过上文生成下文,你瞅啥->瞅你咋地,你=x1,瞅=x2,啥=x3。如图所示,St-1=u(xt-1),St=f(W*st-1+u*xt-1)o=f(x+w*s)每一步进行展开就是RNN的结构,①忘记门:f(Wst-1+Uxt-1)=Ot-1。通过ML方法预测下文。

2022-11-15 20:43:48 319

原创 初学NLPDay3+开题报告综述部分:

这种结果的呈现提高了准确性,采用分布损失进行计算损失函数,灵活调节损失函数的预测分位,根据数据的形态进行损失函数的调整。此方法使用了交叉验证的方法进行算法性能验证,随机森林作为一个bagging算法,属于一种集成算法,将多个决策树弱学习器进行一个集成以提高其精确率,准确来说在分类问题上比回归问题上应用的更好。此外引用一个定义:停用词:由于处理文本丢失或过滤掉的词汇称为停用词,停用词主要包括英文字符、数字、数学字符、标点符号及使用频率特高的单汉字等,有的是包含语气助词、副词,介词,连接词。

2022-11-13 18:28:19 539

原创 初学NLPday2笔记部分

计算量随语料库和词典增长膨胀太快,对X(n,n)维的矩阵,计算量O(n^3),而对大型的语料库,n~400k,语料库大小1~60Btoken。词t的IDF weight log(1+N/nt) N:文档总数 nt:含有词t的文档数。Word2Vec问题:对多义词无法进行很好的表示和处理,只使用了唯一的词向量。最终目标:词向量表示作为机器学习,特别是深度学习的输入和表示空间。假设需要降数量级降为500个样本:1个正样本,499个负样本。我喜欢机器学习分成分词:我,喜欢,机器,学习,机器学习。

2022-11-09 12:44:10 301

原创 初学NLPday1笔记部分

jieba(中文语料库,这个库是github开源并且在不断更新的一个语料库,随着网络语言的发展,词汇与语料不断增多)1.首先了解什么是NLP,自然语言处理就是将人类能懂的语言文字,及字符类型的东西,转换成一种电脑能懂的语言:比如换成二进制编码或者是一串数字。2.了解两个最常见的语料库:nltk(英文语料库,具有分类,分词多种功能)好,现在我们如果有10M的文档,baby出现在其中1000个文档中。所以TF-IDF = TF*IDF = 0.03*4 = 0.12。每个词都出现过一次,所以是1111的词频。

2022-11-07 17:21:33 301 2

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除