- 博客(533)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 NLP之word-embedding
⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是⽤来表⽰词的向量，也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌⼊（word embedding）。近年来，词嵌⼊已逐渐成为⾃然语⾔处理的基础知识。在NLP(自然语言处理)领域，文本表示是第一步，也是很重要的一步，通俗来说就是把人类的语言符号转化为机器能够进行计算的数字，因为普通的文本语言机器是看不懂的，必须通过转化来表征对应文本。早期是基于规则的方法进行转化，而。
2024-05-20 13:21:08
788
原创 初学迁移学习的理解
微调是迁移学习的一种技术，它通常指的是在已经预训练好的模型基础上，对模型的部分或全部参数进行调整，以适应新任务的需求。微调可以在源域数据上进行，也可以在目标域数据上进行。假设你有一个在大规模图像数据集上预训练好的卷积神经网络（CNN），用于识别不同物体的图片。现在你有一个小型的数据集，包含了特定类型的物体图片，比如狗和猫。你可以使用迁移学习，将预训练的CNN模型作为基础模型，在你的小型数据集上进行微调，以便让模型学习到狗和猫的识别任务。
2024-05-20 00:55:48
822
原创 随机森林（Random Forest）的学习
OOB就是我们的袋外数据，我们可以根据我们的OOB进行误差的计算。对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外数据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类，因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小=X/O。
2024-05-19 15:56:43
777
原创 非线性VS线性
这是因为线性方程的复合仍然是线性的(即：Ax+B和Cx+D的复合仍然是一个形式为 Ex + F 的线性方程)，因此，如果网络只包含线性层，它的表达能力非常有限，只能学习输入数据的线性组合。总结来说，非线性激活函数是神经网络能够执行复杂任务的关键，它们提供了必要的非线性特性，使得网络不仅仅能处理简单的线性问题，还能学习和解决现实世界中的非线性、多变和复杂的问题。输出范围-1到1，是一个零中心化的激活函数，有助于数据在模型中的传递，避免某些层的输出始终为正，从而提高学习效率。二分类问题，老生常谈了。
2024-05-18 19:35:37
133
原创 CNN的具体架构VGG
对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。随着更多层的叠加，通过前一层提取的特征可以结合成更复杂的模式，如物体的部分和结构。使用三个3x3的卷积核代替一个7x7的卷积核可以显著减少参数的数量，一个7x7的卷积核包含49个参数，但是一个3x3的卷积核包含9个参数，三个则是27个参数，所以，通过使用三个3x3的卷积核，你减少了参数数量（49 vs 27），这意味着模型的。
2024-05-18 17:47:20
901
原创 GANs生成对抗网络的学习
GANs是一种深度学习模型，用于生成新的数据实例，如图像、音频和文本。生成器（Generator）和判别器（Discriminator）。
2024-05-18 16:15:52
633
原创 初学贝叶斯论
抛开统计学习不谈，贝叶斯思想是对生活也很有指导意义，毕竟我们总是不断利用先验（过往的经验）和观测到现象（x）做出决策（试图得到后验概率）。以抛硬币为例，假如有人告诉我们所抛硬币正面朝上的概率p1=0.7，反面朝上的概率p2=0.3。通过假设特征之间相互独立，我们可以将整个特征空间拆解为单个特征的概率估计，每个特征的取值数量相对较少，这样可以避免统计上的稀疏性问题，使得概率估计更加可靠和准确。：假设特征之间相互独立，意味着每个特征对于类别的影响是独立的，不受其他特征的影响。
2024-05-18 11:34:32
928
原创 逻辑回归的损失函数和线性回归的损失函数
其实很简单理解，我们需要求解最优的参数比如w，那么损失函数需要最小，我们dL/dw求解损失函数对w权重的局部梯度，当梯度变化较大时，说明w变化剧烈，离最优值比较远，需要加大我们的学习率lr（自适应学习率，参考之前的梯度大小），梯度变化大说明损失函数在当前参数值w附近对参数的变化非常敏感。1、**局部最小值：**在非凸损失函数中，存在多个局部最小值，这是损失函数在一定区域内的最小值。，可以高效地计算损失函数对网络中所有参数的梯度，无需手动计算每个参数的偏导数，大大提高了梯度计算的效率。
2024-05-18 10:09:44
976
原创 LSFT的学习（初学）
（1.是什么）梯度消失通常指的是在深度神经网络中，当反向传播算法计算梯度时，由于激活函数的选择或者网络结构的问题，导致梯度逐层减小，最终导致梯度过小无法有效更新网络参数（无法激活），从而影响网络的训练效果。一些常见的导致梯度消失的情况包括使用Sigmoid函数或者tanh函数作为激活函数。（2.怎么做）梯度消失问题可以通过使用其他激活函数（如ReLU、Leaky ReLU等）、使用批量归一化技术、使用残差连接等方法来缓解。（3.用公式进行解释梯度消失）
2024-05-17 00:37:54
662
原创 循环神经网络RNN的初学
x1——>y1的同时会产生a1，它包含了我们第一列处理信息的一些特点，然后这个a1就会被传送到y2上去，那么x2——>y2的序列中就会包含前一个的特点，依次类推，这就是我们的RNN结构**（前面的信息经过处理后，会作为一个新的输入作为后面信息的输入）**。**BRNN：**会从flare进行双向判断，往前的时候，也会将后续的序列信息考虑在内，比如Flare Zhao，这是一个大写的，后面 and David Chen又是一个大写的根据后的David Chen判断得出Flare是人名，One-hot编码的。
2024-05-16 12:12:46
836
原创 CNN卷积神经网络初学
如果构建一个BP神经网络，其要处理的像素点就有224x224x3=150528个，也就是需要处理150528个输入权重，而如果这个网络的隐藏层有1024个节点（这种网络中的典型隐藏层可能有1024个节点），那么，仅第一层隐含层我们就必须训练150528x1024=15亿个权重。在进行卷积层的处理之前，有时要向输入数据的周围填入固定的数据（比如0等），使用填充的目的是调整输出的尺寸，使输出维度和输入维度一致；所以，为了减少卷积操作导致的，边缘信息丢失，我们就需要进行填充（Padding）。
2024-05-15 22:48:05
918
原创 神经网络的认识
较好的方法就是预先设定几个可选值，通过切换这几个值来看整个模型的预测效果，选择效果最好的值作为最终选择。**2.信号传递：**神经元之间的通信是通过电化学信号完成的。**1.神经元的结构：**每个神经元都由细胞体、树突和轴突组成。**隐藏层：**这是神经网络的核心部分，包含多个层次的神经元。人工神经元接收多个输入，每个输入都有一个相关联的权重，这相当于人工神经网络的记忆。**输出层：**根据学到的特征生成最终的输出，可以是分类标签、数值或其他任务相关的结果。输出层的节点数：与目标的维度匹配。
2024-05-15 15:24:43
712
原创 TensorFlow的学习
0.基础概念术语表：https://developers.google.cn/machine-learning/glossary?hl=zh-cn#logits1.快速入门https://tensorflow.google.cn/tutorials/quickstart/beginner?hl=zh-cn2.基于Keras进行图像分类https://tensorflow.google.cn/tutorials/keras/classification?hl=zh-cn3.过拟合与欠拟合https
2024-05-15 12:43:53
285
原创 混淆矩阵实战
进而确定保留多少主成分以达到对数据集信息的有效压缩，进而确定保留多少主成分以达到对数据集信息的有效压缩。然后可视化分类边界，0~10，以0.05为间隔设置200个间隔（目的是弄非常多的数据填充两个分类），所以要将好的数据点和坏的数据点分开来给到模型进而来寻找异常点。可以看到通过混淆矩阵计算出来的准确率和我们之前建立knn模型计算出的准确率是一样的。如图，绿叉处就是寻找出的异常点. 至此，任务第一步完成，下面进行第二步。利用KNN模型进行训练，然后计算训练集和测试集的评分。实际上指的就是：线性无关的。
2024-05-14 11:23:26
226
原创 数据分离和混淆矩阵的学习
模型一：一共1000个数据（分别为900个1和100个0），850个1和50个0预测准确（一共两类），所以准确率为（850+50）/1000=90%，而对于每一类：1的类为850/900的准确率；而对于值为1的类：900/900=1，所以以后的每条数据预测都会为1，这样就会出现空准确率的情况；比如出现欠拟合的情况，模型不能很好的预测样本，我们可以降低KNN的参数n_neighbors值，越降低，模型复杂度越高。通过训练集建立模型的意义是对新的数据进行准确的预测（测试集的准度高才代表good fit）；
2024-05-13 15:58:41
440
原创 过拟合和欠拟合的学习
过拟合就是曲线太过于贴切训练数据的特征了，在训练集上表现得非常优秀，近乎完美的预测/区分了所有得数据，但是在新的测试集上表现平平，不具有泛化性，拿到新样本后无法得到精确的判断。
2024-05-12 16:44:33
834
原创 异常检测的学习和实战
根据输入的数据，对不符合预期模式的数据进行识别假设我们有一个一维的数据集，在这个数据集中有m个样本：数据在x轴的分别如下图：我们的目标是自动地找出这上面的异常样本，就可以根据样本在坐标轴上分布的数量多少，计算出坐标轴上各点对应的样本的概率密度，可以设定当概率密度小于某个值时，这时其对应的样本就是我们要找的异常样本。
2024-05-11 18:18:35
653
原创 数据降维-主成分分析PCA
因此，我们无法准确地找到数据的主要方向，也就无法有效地降低数据的维度。因为在 PCA 中，我们希望找到方差最大的方向作为主成分，而相互正交的向量正是保证了这一点。，PCA 中要求特征向量相互正交，这样可以更好地提取数据的主要特征，减少冗余信息，从而实现降维的目的。在以前计算能力还很弱的年代，我们要分析经济数据是一件很困难的事情，所以我们需要对指标特征进行降维；这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。一般我们降维的特征数据彼此之间是存在一定的相关性的，，假设我们要在这个新的特征空间中。
2024-05-11 16:45:32
842
原创 决策树的学习（Decision Tree）
它考虑了属性之间的相关性，比如是否具有学习兴趣，可能学习动力和学习时间是有一定的关联的，逻辑回归就考虑了相关性，但是决策树就没有考虑。2.最合适的判断：在于信息熵，熵越大说明信息的不确定性就越大，而信息熵跟我们的信息增益是直接相关的，信息熵越小，信息增益就越大；**本质上：**决策树就是模拟树的结构基于 if-else的多层判断。信息熵尽可能小，那么我们Gain(D,a)所获取的信息增益就更大。1.忽略了属性之间的相关性，比如我们的逻辑回归，类别越少，Dv/D就越小，信息增益就越大。
2024-05-11 00:05:09
371
原创 KMeans，KNN，Mean-shift算法的学习
*1.概念：**给定一共训练数据集，对输入的新的数据实例A，在数据集上寻找和A实例最邻近的K各实例（K个邻居），然后这K个实例的多数属于某个类，那么这个A实例就属于该这个类中；1.计算均值偏移：M(x)=1/K*(当前中心点和其余数据的距离差之和) ——>2.中心点的更新：新的中心点=旧的中心点+M(x) 偏移量。因为新实例的数据的判别，和它的K个邻居关系很大，所以我们需要知道K个邻居的正确标签，因此KNN算法是一个监督式学习的算法；2.中心点的更新：新的中心点=旧的中心点+M(x)偏移量。
2024-05-10 22:41:31
872
原创 无监督式学习
无监督式学习与监督式学习**最大的区别就是：**没有事先给定的训练实例，它是自动对输入的示例进行分类或者分群；的话,这些数据就会过滤掉**(过滤噪声)** 2.然后基于密度符合的有效数据进行周围的扩招直至不满足条件。**纬度缩减：**数据之间可能存在一定的关系，然后我们可以进行降维，加快数据运算速度。首先要告诉计算机你需要分成几类,然后他会根据中心点计算数据的距离,然后进行分类;根据对象属性的相似度，将其分为不同的类别；（客户分析，基因聚类，新闻关联）**关联规则：**根据输入的数据得到他们之间的关联。
2024-05-09 21:38:50
436
原创 逻辑回归模型处理考试通过预测
既然是二阶的，那么我们需要重新定义一下g(x)方程，一共两个函数x1，x2，二阶的话就会有x1^2，x2的平方，x1*x2以及一阶的x1，x2。此时LR2.predict()中的参数不仅是x1，x2这两个参数了，还需要x_new概括整个（包括x1*x2，x1^2等等）因为拟合后我们是可以得到θ1、θ2这些参数的，然后可以根据这些参数去求得我们基于预判函数P(x)得到的x2_new。这时负样本就是0，正样本就是1，0和1就是我们给样本定义的标签。因为是二阶边界函数g(x)，所以我们需要求解θ0，θ1…
2024-05-09 13:53:31
751
原创 分类任务的基础学习
当样本量逐渐变大的时候，准确率会下降——>因为线性回归曲线距离我们的原点越远，预测就会开始不准确，因为x前面的倍数就会越来越小，这就导致了样本量变大，但是那些原来靠近原点的点的结果就会可能发生改变；
2024-05-08 23:29:14
450
原创 scikit-learn实现单因子线性回归模型
*绘画子图：**利用matplotlib绘画子图subplot(211)——>代表两行一列第一张图绘制。针对机器学习提供了数据预处理，分类，回归等常见算法的框架。**scatter(x,y)：**画散点图。
2024-05-08 01:49:32
413
原创 回归分析的理解
y’=ax+b，而我们的目的是y’和y(正确的结果)之间的。3.然后将对a的方向值乘上路程值α，最后用当前a值相减即可。然后将**指定步长值（a）**去乘以我们的第一步的方向值。如何寻找收敛的点：在函数上的**(当前点pi)第二步得到的极值差**（方向值×步长）**4.以上步骤重复直至一个极值点出现，代表。（y’-y）^2之和min。，然后将当前pi点进行带入。，也就是满足拟合条件。一样的思路，1. 首先。y’是根据模型生成的。中，将损失函数的公式。
2024-05-07 23:31:39
188
原创 机器学习第二天（监督学习，无监督学习，强化学习，混合学习）
给定一组包含猫和狗图像的数据集，并且每张图像都有相应的标签（是猫还是狗），监督式学习算法可以学习如何从图像中提取特征，并预测新图像中是否有猫或狗。例如，使用聚类算法对一组顾客的购买历史进行分组，以发现具有相似购买模式的顾客群体，而无需事先知道每个顾客的标签或类别。模型试图在数据中找到某种形式的组织或聚类，而无需事先知道该数据的标签。一旦模型经过训练，它可以用于预测未见过的输入数据的输出标签。来调整自身的参数，以最小化预测与真实标签之间的误差。在无监督式学习中，训练数据。，进行升级，如果是以前的。
2024-05-07 22:25:40
175
原创 人工智能学习+Python的优势
就是：规定好的逻辑和顺序，根据这个模板告诉机器接下来需要做什么，遵循。深度学习：实现机器学习的一种技术；机器学习：是实现人工智能的方法；原则——>缺点：不能根据。
2024-05-07 10:58:38
267
原创 第一天学习（GPT）
这一系列的模型可以在非常复杂的NLP任务中取得非常惊艳的效果，例如文章生成，代码生成，机器翻译，Q&A等，而完成这些任务并不需要有监督学习进行模型微调。中，人类的反馈作用在于指导和调整AI的学习过程——>这可以通过多种方式实现，如评估代理的行为、提供奖励信号或直接修改代理的策略。本质上并不是对于某技术的创新，个人认为更多的是对以往知识的拼凑，然后基于你的问题在现有的数据上进行response。比如下面这句话，它的注意力更多放在上海和昆明，所以介绍的风景更多的是上海和昆明而不是沿途，故而违背了我的本意。
2024-05-06 22:46:46
1100
原创 StringUtils中isBlank()和isEmpty()的区别
【代码】StringUtils中isBlank()和isEmpty()的区别。
2024-05-04 01:24:00
260
1
原创 阿里云安装python
在执行 configure 脚本时，你可以通过设置不同的选项来自定义 Python 的编译和安装。这是一个名为 configure 的脚本，它负责。来生成一个适合的 Makefile，以便。命令来编译并安装 Python。脚本，并指定 Python 的。
2024-04-29 00:41:19
140
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人