- 博客(17)
- 收藏
- 关注
RSS订阅原创 统计语言模型——Ngram
机器是怎么识别语言的呢？语言是灵活的，语言也是有规律的。人们可以了解一门语言的人可以判断一句话是否”合理”。通俗来讲，语言模型评价一句话是否“合理”或“是人话”，也就是判断这句话的成句概率。目前语言模型在输入法和语音识别和手写识别都有很大的应用，输入法可以通过拼音对各个词句的概率，将所需要输入的词句优先排在更前面的位置。从而有更快的打字输入。目前语言模型的发展有统计语言模型、神经语言模型、预训练模型、大语言模型。
2024-08-04 18:53:40
1852
原创 Glove-词向量
一、根据词与词之间关系的某种假设，制定训练目标。二、设计模型，以词向量为输入。三、随机初始化词向量，开始训练。四、训练过程中词向量作为参数不断调整，获取一定的语义信息。五、使用训练好的词向量做下游任务。
2024-07-30 21:09:29
659
原创 NLP之词的向量化
向量对于机器学习非常重要,大量的算法都需要基于向量来完成。对于机器来说，字符是没有含义的，只是有区别。只使用字符无法去刻画字与字、词与词、文本与文本之间的关系，文本转化为向量可以更好地刻画文本之间的关系，向量化后，可以启用大量的机器学习算法，具有很高的价值。文本是由词和字组成的，想将文本转化为向量，首先要能够把词和字转化为向量。所有向量应该有同一维度n，我们可以称这个n维空间是一个语义空间。我爱北京天安门。
2024-07-21 21:37:04
1389
1
原创 NLP之词的重要性
1.通过计算TF∗IDFTF*IDFTF∗IDF值得到每个文本的关键词。2.将包含关键词多的句子，认为是关键句。3.挑选若干关键句，作为文本的摘要。import osimport re"""基于tfidf实现简单文本摘要"""#加载文档数据（可以想象成网页数据），计算每个网页的tfidf字典#计算每一篇文章的摘要#输入该文章的tf_idf词典，和文章内容#top为人为定义的选取的句子数量#过滤掉一些正文太短的文章，因为正文太短在做摘要意义不大。
2024-07-13 17:48:23
2135
原创 中文分词-基于机器学习
之前介绍了几种简单的中文分词方式，但是这几种分词方式都太依赖词库了。有没有不依赖词库的方式，重新思考，如果想要对一句话进行分词，我们需要什么知道什么？对于每一个字，我们想知道它是不是一个词的边界。蓝色表示不是词边界，红色表示是词边界。问题转化为：对于句子中的每一个字，进行二分类判断，正类表示这句话中，它是词边界，负类表示它不是词边界标注数据、训练模型，使模型可以完成上述判断，那么这个模型，可以称为一个分词模型。这次分词实战和上一次深度学习实战之简单文本分类。
2024-07-09 23:02:26
1243
原创 NLP入门之中文分词
分词是一个被长期研究的任务，通过了解分词算法的发展，可以看到NLP的研究历程,分词是NLP中一类问题的代表,分词很常用，很多NLP任务建立在分词之上。目前分词切分的难点主要有歧义切分、新词、专有名词、改造词等。
2024-07-09 21:36:24
716
原创 深度学习实战之简单文本分类
vocab[char] = index+1 #每个字对应一个序号对于词表，将字符存入字典里，每个字符对应有个数字，这样就将字符数字化了，而"pad"的存储分别对应着的是样本不一致时，将空缺的样本补充为0，这次实战用不到，因为我们每次都是抽取4个字符，所以样本都是相同长度的。"unk"的存储是对应着样本的字符不在词表里的一个问题，不过我们这次也用不到。这次只是先做一个了解。
2024-07-06 20:28:33
1023
原创 深度学习之Embedding层和卷积层（CNN）
Embeding层其实就是一个把对于字体转化成矩阵的一个层，最初先随机生成矩阵，这个生成的矩阵也是可以训练的，一般会在模型构建时随机初始化也可以使用预训练的词向量来做初始化，此时也可以选择不训练Embedding层中的参数。卷积层最初的出现是处理图像上的工程，一个图像的定义一般不是由一个点决定的，所以对于一个一张较大的图片或者说矩阵，我们可以用一张小矩阵去扫描他进行某种计算得到一个值放入一个新的矩阵，这个新生成的矩阵就叫做这个矩阵的特征，而扫描的矩阵叫做卷积核。核心价值：将离散值转化为向量。
2024-07-01 23:10:34
725
原创 深度学习之RNN
主要思想：将整个序列划分成多个时间步，将每一个时间步的信息依次输入模型，同时将模型输出的结果传给下一个时间步。对于最终的输出值，大家有没有发现最终的维度只有一个样本的维度，相比线性层的一口气将所有样本代入，RNN层对数据还对数据进行了一个压缩处理，这样我们便不需要进行池化的一个操作了，而且相比池化，还保留了样本的更多信息。
2024-07-01 23:10:24
876
原创 深度学习之Adam优化器
但是这种更新梯度的方式只取决于当权样本的梯度，很容易受到噪声数据的影响。Adam优化器对上述梯度的更新方式进行了优化改造。是对梯度的加权，新旧样本所计算的梯度都对当前梯度的下降都会有影响，而对于。不一定是一直在减小的。如果只是为了叠加之前样本的权重，有。从上面公式可以看出Adam公式只是把梯度换成了。起到了一个自适应调节的学习率的作用。都随着轮数的增大而逐渐减小权重，当然。,是为了防止除0而设置的。对于上述公式可以看出，
2024-06-30 22:00:20
1377
原创 深度学习实战之找最大数字
之前学习了深度学习的概念与基本过程，今天用一个简单的深度学习框架实现最大数字的找寻，理解深度学习的的基本流程。我们利用最简单的线性层和激活层实现这个功能，我们的x是5维的，最终输出的y也是5维的，因为线性层有yXwby=Xw+byXwb所以www应该也是5*5的。
2024-06-28 21:24:46
2004
原创 梯度下降算法
深度学习学习的目标就是找到损失函数中的参数使损失函数最小化，损失函数越小，模型越好。假设x<0,比如说x = -1这个点，导数值为 -2,该点导数为负数，说明在这一点，如果x增大，y会减小。假设x>0,比如说x = 1这个点，导数值为 2,该点导数为正数，说明在这一点，如果x增大，y会增大。梯度下降是深度学习中常见的算法，其实梯度下降算法就是一种求解最值的算法，函数。是梯度，在一元函数中导数和梯度是相同的，在多元函数中是方向变化最快的导数。深度学习中样本数据量很大，直接计算导数等于0的点，内存和算力不够。
2024-06-23 11:34:07
929
原创 深度学习中损失函数与激活函数
为模型添加非线性因素，使模型具有拟合非线性函数的能力，无激活函数时 y = w1(w2(w3 * x + b3) +b2) + b1 仍然是线性函数,但是可以将生成的模型作为自变量代入一个曲线函数就可以解决非线性问题了，同时可以拟合更复杂的函数。下一篇文章介绍梯度下降，梯度下降是用来计算权重使得损失函数最小，但损失函数的计算方式一般有哪些呢？自变量小于0的时候是0，自变量大于0的时候是他本身。,将你的样本自变量代入模型与实际值差值的平方。分类任务中，网络输出经常是所有类别上的概率分布。
2024-06-23 11:27:27
1086
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人