- 博客(10)
- 收藏
- 关注
RSS订阅原创 梯度下降（gradient descent)
泰勒展开式：如果红色圆圈足够小，在红色圆圈内找到误差最小的值是L(优化器： 找出一个参数，越贴近越好，降低的Loss越多越好。调整learning-rate。找到一组参数获得最低的L(找到最小值在红色圆圈内。
2022-12-26 13:23:44
127
原创 回归（案例学习）
而如果在训练数据上效果较好，而测试集上效果不好说明variance过大，属于过拟合状态。在测试数据集上明显是不是随着阶次升高误差越低，很明显达到一个折点之后效果变差。所以大概可以得出较好的模型：在最高阶为3时达到最好结果。当训练集的损失越小但测试集的损失越大的时候，达到过拟合。而使用平滑可以使数据更加整齐，但也容易丢失重要数据。对数据的特点不够了解。越大在训练数据集的效果越差，而在测试集的效果越好。每一种的数据进行综合的线性函数的拟合过后实现。平均误差在测试数据集>训练数据上的测试误差。
2022-12-25 23:04:18
215
原创 深度学习神经网络学习日记
1.设置beta1,beta22.取出第一步的均值标准差，第二步值的均值标准差3.第一步= beta1*均值标准差+（1-beta1）*梯度第二部方差 = beta2*均值标准差+(1-beta2)*二阶梯度时间步+=14.存回momentum_memory5.归一化操作保留一阶矩，二阶矩，使用二者归一化更新方向。
2022-12-17 22:47:45
160
原创 python基础学习笔记
最简单的表达式就是字面量。运行过程中，解释器先运行右边的表达式，生成一个代表表达式运算结果的对象；#对象的本质就是：一个内存块，拥有特定的值，支持特定类型的相关操作。#第一个字符必须是字母、下划线。其后的字符是：字母、数字、下划线。#Python中一切皆对象，每个对象由标识、类型、值组成。比如：if、or、while等。#以双下划线开头和结尾的名称通常由特殊含义。1.jupyter notebook编程。2.按照turtle库进行绘画。#如：sxt和SXT是不同的。# 变量的声明和赋值。
2022-12-15 20:45:33
100
原创 深度学习神经网络学习日记
BP神经网络#线性层1.设置偏置项（bias)2.进行高斯随机变量，归一化保持梯度不会下降得太快3.注册参数，weight计算出参数4.先将bias注册为05.设置偏置参数#前馈层1.batch_size设置2.两个矩阵（x阵，权重阵）进行点乘做内积3.如果偏置项存在，循环一遍batch_size相加。
2022-12-15 20:34:38
128
原创 NLP基础核心技术（语法模型和语法树）
Count(Wk)单个词的个数，|V|是指不同词的个数，所以将序列个数加一除以单个词的个数加上所有不同词的个数，加上V的原因在于不同词的个数是进行一个平滑化的，将分母变大以便数字的小于1。（马尔可夫性）P（篮球|我，要，去，打）约等于P（篮球|打）（2-gram)约等于P（篮球|去，打）（3-gram）.....（n-gram)基于前面的n-1个词。n-gram就是将每一个式子相乘得出结果：P（Wn|Wn-1)P(Wn-1|Wn-2)P(Wn-2|Wn-3)...P(W2|W1)P(W1)
2022-11-24 15:13:00
690
原创 初学NLPday4笔记
简单来说，对于t=5来说，其实就是相当于把一个神经元拉伸成5个，换句话说，S就是我们所说的记忆。LSTM中最重要的是cell state,它一路向下，贯穿这个时间线，代表了记忆的纽带，它会被XOR和AND运算符进行运算来更新记忆。基本概念：通过上文生成下文，你瞅啥->瞅你咋地，你=x1,瞅=x2,啥=x3。如图所示，St-1=u(xt-1),St=f(W*st-1+u*xt-1)o=f(x+w*s)每一步进行展开就是RNN的结构，①忘记门：f(Wst-1+Uxt-1)=Ot-1。通过ML方法预测下文。
2022-11-15 20:43:48
319
原创 初学NLPDay3+开题报告综述部分：
这种结果的呈现提高了准确性，采用分布损失进行计算损失函数，灵活调节损失函数的预测分位，根据数据的形态进行损失函数的调整。此方法使用了交叉验证的方法进行算法性能验证，随机森林作为一个bagging算法，属于一种集成算法，将多个决策树弱学习器进行一个集成以提高其精确率，准确来说在分类问题上比回归问题上应用的更好。此外引用一个定义：停用词：由于处理文本丢失或过滤掉的词汇称为停用词，停用词主要包括英文字符、数字、数学字符、标点符号及使用频率特高的单汉字等，有的是包含语气助词、副词，介词，连接词。
2022-11-13 18:28:19
539
原创 初学NLPday2笔记部分
计算量随语料库和词典增长膨胀太快，对X(n,n)维的矩阵，计算量O(n^3),而对大型的语料库，n~400k,语料库大小1~60Btoken。词t的IDF weight log(1+N/nt) N:文档总数 nt：含有词t的文档数。Word2Vec问题：对多义词无法进行很好的表示和处理，只使用了唯一的词向量。最终目标：词向量表示作为机器学习，特别是深度学习的输入和表示空间。假设需要降数量级降为500个样本：1个正样本，499个负样本。我喜欢机器学习分成分词：我，喜欢，机器，学习，机器学习。
2022-11-09 12:44:10
301
原创 初学NLPday1笔记部分
jieba（中文语料库，这个库是github开源并且在不断更新的一个语料库，随着网络语言的发展，词汇与语料不断增多）1.首先了解什么是NLP，自然语言处理就是将人类能懂的语言文字，及字符类型的东西，转换成一种电脑能懂的语言：比如换成二进制编码或者是一串数字。2.了解两个最常见的语料库：nltk（英文语料库，具有分类，分词多种功能）好，现在我们如果有10M的文档，baby出现在其中1000个文档中。所以TF-IDF = TF*IDF = 0.03*4 = 0.12。每个词都出现过一次，所以是1111的词频。
2022-11-07 17:21:33
301
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人