科研学习生涯
文章平均质量分 70
研0
Fairy要carry
欲戴其冠,必承其重
展开
-
NLP之word-embedding
⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中,词是表义的基本单元。顾名思义,词向量是⽤来表⽰词的向量,也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌⼊(word embedding)。近年来,词嵌⼊已逐渐成为⾃然语⾔处理的基础知识。在NLP(自然语言处理)领域,文本表示是第一步,也是很重要的一步,通俗来说就是把人类的语言符号转化为机器能够进行计算的数字,因为普通的文本语言机器是看不懂的,必须通过转化来表征对应文本。早期是基于规则的方法进行转化,而。原创 2024-05-20 13:21:08 · 455 阅读 · 0 评论 -
初学迁移学习的理解
微调是迁移学习的一种技术,它通常指的是在已经预训练好的模型基础上,对模型的部分或全部参数进行调整,以适应新任务的需求。微调可以在源域数据上进行,也可以在目标域数据上进行。假设你有一个在大规模图像数据集上预训练好的卷积神经网络(CNN),用于识别不同物体的图片。现在你有一个小型的数据集,包含了特定类型的物体图片,比如狗和猫。你可以使用迁移学习,将预训练的CNN模型作为基础模型,在你的小型数据集上进行微调,以便让模型学习到狗和猫的识别任务。原创 2024-05-20 00:55:48 · 638 阅读 · 0 评论 -
随机森林(Random Forest)的学习
OOB就是我们的袋外数据,我们可以根据我们的OOB进行误差的计算。对于已经生成的随机森林,用袋外数据测试其性能,假设袋外数据总数为O,用这O个袋外数据作为输入,带进之前已经生成的随机森林分类器,分类器会给出O个数据相应的分类,因为这O条数据的类型是已知的,则用正确的分类与随机森林分类器的结果进行比较,统计随机森林分类器分类错误的数目,设为X,则袋外数据误差大小=X/O。原创 2024-05-19 15:56:43 · 615 阅读 · 0 评论 -
非线性VS线性
这是因为线性方程的复合仍然是线性的(即:Ax+B和Cx+D的复合仍然是一个形式为 Ex + F 的线性方程),因此,如果网络只包含线性层,它的表达能力非常有限,只能学习输入数据的线性组合。总结来说,非线性激活函数是神经网络能够执行复杂任务的关键,它们提供了必要的非线性特性,使得网络不仅仅能处理简单的线性问题,还能学习和解决现实世界中的非线性、多变和复杂的问题。输出范围-1到1,是一个零中心化的激活函数,有助于数据在模型中的传递,避免某些层的输出始终为正,从而提高学习效率。二分类问题,老生常谈了。原创 2024-05-18 19:35:37 · 133 阅读 · 0 评论 -
CNN的具体架构VGG
对于给定的感受野(与输出有关的输入图片的局部大小),采用堆积的小卷积核是优于采用大的卷积核,因为多层非线性层可以增加网络深度来保证学习更复杂的模式,而且代价还比较小(参数更少)。随着更多层的叠加,通过前一层提取的特征可以结合成更复杂的模式,如物体的部分和结构。使用三个3x3的卷积核代替一个7x7的卷积核可以显著减少参数的数量,一个7x7的卷积核包含49个参数,但是一个3x3的卷积核包含9个参数,三个则是27个参数,所以,通过使用三个3x3的卷积核,你减少了参数数量(49 vs 27),这意味着模型的。原创 2024-05-18 17:47:20 · 666 阅读 · 0 评论 -
GANs生成对抗网络的学习
GANs是一种深度学习模型,用于生成新的数据实例,如图像、音频和文本。生成器(Generator)和判别器(Discriminator)。原创 2024-05-18 16:15:52 · 608 阅读 · 0 评论 -
初学贝叶斯论
抛开统计学习不谈,贝叶斯思想是对生活也很有指导意义,毕竟我们总是不断利用先验(过往的经验)和观测到现象(x)做出决策(试图得到后验概率)。以抛硬币为例,假如有人告诉我们所抛硬币正面朝上的概率p1=0.7,反面朝上的概率p2=0.3。通过假设特征之间相互独立,我们可以将整个特征空间拆解为单个特征的概率估计,每个特征的取值数量相对较少,这样可以避免统计上的稀疏性问题,使得概率估计更加可靠和准确。:假设特征之间相互独立,意味着每个特征对于类别的影响是独立的,不受其他特征的影响。原创 2024-05-18 11:34:32 · 928 阅读 · 0 评论 -
逻辑回归的损失函数和线性回归的损失函数
其实很简单理解,我们需要求解最优的参数比如w,那么损失函数需要最小,我们dL/dw求解损失函数对w权重的局部梯度,当梯度变化较大时,说明w变化剧烈,离最优值比较远,需要加大我们的学习率lr(自适应学习率,参考之前的梯度大小),梯度变化大说明损失函数在当前参数值w附近对参数的变化非常敏感。1、**局部最小值:**在非凸损失函数中,存在多个局部最小值,这是损失函数在一定区域内的最小值。,可以高效地计算损失函数对网络中所有参数的梯度,无需手动计算每个参数的偏导数,大大提高了梯度计算的效率。原创 2024-05-18 10:09:44 · 965 阅读 · 0 评论 -
RNN股票预测
【代码】RNN股票预测。原创 2024-05-16 16:52:02 · 426 阅读 · 0 评论 -
循环神经网络RNN的初学
x1——>y1的同时会产生a1,它包含了我们第一列处理信息的一些特点,然后这个a1就会被传送到y2上去,那么x2——>y2的序列中就会包含前一个的特点,依次类推,这就是我们的RNN结构**(前面的信息经过处理后,会作为一个新的输入作为后面信息的输入)**。**BRNN:**会从flare进行双向判断,往前的时候,也会将后续的序列信息考虑在内,比如Flare Zhao,这是一个大写的,后面 and David Chen又是一个大写的根据后的David Chen判断得出Flare是人名,One-hot编码的。原创 2024-05-16 12:12:46 · 822 阅读 · 0 评论 -
CNN卷积神经网络初学
如果构建一个BP神经网络,其要处理的像素点就有224x224x3=150528个,也就是需要处理150528个输入权重,而如果这个网络的隐藏层有1024个节点(这种网络中的典型隐藏层可能有1024个节点),那么,仅第一层隐含层我们就必须训练150528x1024=15亿个权重。在进行卷积层的处理之前,有时要向输入数据的周围填入固定的数据(比如0等),使用填充的目的是调整输出的尺寸,使输出维度和输入维度一致;所以,为了减少卷积操作导致的,边缘信息丢失,我们就需要进行填充(Padding)。原创 2024-05-15 22:48:05 · 915 阅读 · 0 评论 -
神经网络的认识
较好的方法就是预先设定几个可选值,通过切换这几个值来看整个模型的预测效果,选择效果最好的值作为最终选择。**2.信号传递:**神经元之间的通信是通过电化学信号完成的。**1.神经元的结构:**每个神经元都由细胞体、树突和轴突组成。**隐藏层:**这是神经网络的核心部分,包含多个层次的神经元。人工神经元接收多个输入,每个输入都有一个相关联的权重,这相当于人工神经网络的记忆。**输出层:**根据学到的特征生成最终的输出,可以是分类标签、数值或其他任务相关的结果。输出层的节点数:与目标的维度匹配。原创 2024-05-15 15:24:43 · 710 阅读 · 0 评论 -
TensorFlow的学习
0.基础概念术语表:https://developers.google.cn/machine-learning/glossary?hl=zh-cn#logits1.快速入门https://tensorflow.google.cn/tutorials/quickstart/beginner?hl=zh-cn2.基于Keras进行图像分类https://tensorflow.google.cn/tutorials/keras/classification?hl=zh-cn3.过拟合与欠拟合https原创 2024-05-15 12:43:53 · 283 阅读 · 0 评论 -
tensorflow实现二分类
【代码】tensorflow实现二分类。原创 2024-05-15 12:21:00 · 437 阅读 · 0 评论 -
tensorflow实现二分类
【代码】tensorflow实现二分类。原创 2024-05-15 02:51:29 · 167 阅读 · 0 评论 -
MLP多层感知器
输出层与隐藏层是什么关系?其实隐藏层到输出层可以看成是。原创 2024-05-14 23:35:44 · 418 阅读 · 0 评论 -
混淆矩阵实战
进而确定保留多少主成分以达到对数据集信息的有效压缩,进而确定保留多少主成分以达到对数据集信息的有效压缩。然后可视化分类边界,0~10,以0.05为间隔设置200个间隔(目的是弄非常多的数据填充两个分类),所以要将好的数据点和坏的数据点分开来给到模型进而来寻找异常点。可以看到通过混淆矩阵计算出来的准确率和我们之前建立knn模型计算出的准确率是一样的。如图,绿叉处就是寻找出的异常点. 至此,任务第一步完成,下面进行第二步。利用KNN模型进行训练,然后计算训练集和测试集的评分。实际上指的就是:线性无关的。原创 2024-05-14 11:23:26 · 226 阅读 · 0 评论 -
结合数据隔离对温度预测实战(多项式特征优化模型)
【代码】结合数据隔离对温度预测实战(多项式特征优化模型)原创 2024-05-14 00:21:13 · 102 阅读 · 0 评论 -
数据分离和混淆矩阵的学习
模型一:一共1000个数据(分别为900个1和100个0),850个1和50个0预测准确(一共两类),所以准确率为(850+50)/1000=90%,而对于每一类:1的类为850/900的准确率;而对于值为1的类:900/900=1,所以以后的每条数据预测都会为1,这样就会出现空准确率的情况;比如出现欠拟合的情况,模型不能很好的预测样本,我们可以降低KNN的参数n_neighbors值,越降低,模型复杂度越高。通过训练集建立模型的意义是对新的数据进行准确的预测(测试集的准度高才代表good fit);原创 2024-05-13 15:58:41 · 439 阅读 · 0 评论 -
过拟合和欠拟合的学习
过拟合就是曲线太过于贴切训练数据的特征了,在训练集上表现得非常优秀,近乎完美的预测/区分了所有得数据,但是在新的测试集上表现平平,不具有泛化性,拿到新样本后无法得到精确的判断。原创 2024-05-12 16:44:33 · 833 阅读 · 0 评论 -
异常检测的学习和实战
根据输入的数据,对不符合预期模式的数据进行识别假设我们有一个一维的数据集,在这个数据集中有m个样本:数据在x轴的分别如下图:我们的目标是自动地找出这上面的异常样本,就可以根据样本在坐标轴上分布的数量多少,计算出坐标轴上各点对应的样本的概率密度,可以设定当概率密度小于某个值时,这时其对应的样本就是我们要找的异常样本。原创 2024-05-11 18:18:35 · 653 阅读 · 0 评论 -
数据降维-主成分分析PCA
因此,我们无法准确地找到数据的主要方向,也就无法有效地降低数据的维度。因为在 PCA 中,我们希望找到方差最大的方向作为主成分,而相互正交的向量正是保证了这一点。,PCA 中要求特征向量相互正交,这样可以更好地提取数据的主要特征,减少冗余信息,从而实现降维的目的。在以前计算能力还很弱的年代,我们要分析经济数据是一件很困难的事情,所以我们需要对指标特征进行降维;这样就可以将数据矩阵转换到新的空间当中,实现数据特征的降维。一般我们降维的特征数据彼此之间是存在一定的相关性的,,假设我们要在这个新的特征空间中。原创 2024-05-11 16:45:32 · 841 阅读 · 0 评论 -
决策树的学习(Decision Tree)
它考虑了属性之间的相关性,比如是否具有学习兴趣,可能学习动力和学习时间是有一定的关联的,逻辑回归就考虑了相关性,但是决策树就没有考虑。2.最合适的判断:在于信息熵,熵越大说明信息的不确定性就越大,而信息熵跟我们的信息增益是直接相关的,信息熵越小,信息增益就越大;**本质上:**决策树就是模拟树的结构基于 if-else的多层判断。信息熵尽可能小,那么我们Gain(D,a)所获取的信息增益就更大。1.忽略了属性之间的相关性,比如我们的逻辑回归,类别越少,Dv/D就越小,信息增益就越大。原创 2024-05-11 00:05:09 · 370 阅读 · 0 评论 -
KMeans,KNN,Mean-shift算法的学习
*1.概念:**给定一共训练数据集,对输入的新的数据实例A,在数据集上寻找和A实例最邻近的K各实例(K个邻居),然后这K个实例的多数属于某个类,那么这个A实例就属于该这个类中;1.计算均值偏移:M(x)=1/K*(当前中心点和其余数据的距离差之和) ——>2.中心点的更新:新的中心点=旧的中心点+M(x) 偏移量。因为新实例的数据的判别,和它的K个邻居关系很大,所以我们需要知道K个邻居的正确标签,因此KNN算法是一个监督式学习的算法;2.中心点的更新:新的中心点=旧的中心点+M(x)偏移量。原创 2024-05-10 22:41:31 · 870 阅读 · 0 评论 -
无监督式学习
无监督式学习与监督式学习**最大的区别就是:**没有事先给定的训练实例,它是自动对输入的示例进行分类或者分群;的话,这些数据就会过滤掉**(过滤噪声)** 2.然后基于密度符合的有效数据进行周围的扩招直至不满足条件。**纬度缩减:**数据之间可能存在一定的关系,然后我们可以进行降维,加快数据运算速度。首先要告诉计算机你需要分成几类,然后他会根据中心点计算数据的距离,然后进行分类;根据对象属性的相似度,将其分为不同的类别;(客户分析,基因聚类,新闻关联)**关联规则:**根据输入的数据得到他们之间的关联。原创 2024-05-09 21:38:50 · 436 阅读 · 0 评论 -
逻辑回归模型处理考试通过预测
既然是二阶的,那么我们需要重新定义一下g(x)方程,一共两个函数x1,x2,二阶的话就会有x1^2,x2的平方,x1*x2以及一阶的x1,x2。此时LR2.predict()中的参数不仅是x1,x2这两个参数了,还需要x_new概括整个(包括x1*x2,x1^2等等)因为拟合后我们是可以得到θ1、θ2这些参数的,然后可以根据这些参数去求得我们基于预判函数P(x)得到的x2_new。这时负样本就是0,正样本就是1,0和1就是我们给样本定义的标签。因为是二阶边界函数g(x),所以我们需要求解θ0,θ1…原创 2024-05-09 13:53:31 · 751 阅读 · 0 评论 -
分类任务的基础学习
当样本量逐渐变大的时候,准确率会下降——>因为线性回归曲线距离我们的原点越远,预测就会开始不准确,因为x前面的倍数就会越来越小,这就导致了样本量变大,但是那些原来靠近原点的点的结果就会可能发生改变;原创 2024-05-08 23:29:14 · 433 阅读 · 0 评论 -
scikit-learn多因子线性回归预测房价
【代码】scikit-learn多因子线性回归预测房价。原创 2024-05-08 13:35:20 · 333 阅读 · 0 评论 -
scikit-learn实现单因子线性回归模型
*绘画子图:**利用matplotlib绘画子图subplot(211)——>代表两行一列第一张图绘制。针对机器学习提供了数据预处理,分类,回归等常见算法的框架。**scatter(x,y):**画散点图。原创 2024-05-08 01:49:32 · 412 阅读 · 0 评论 -
回归分析的理解
y’=ax+b,而我们的目的是y’和y(正确的结果)之间的。3.然后将对a的方向值乘上路程值α,最后用当前a值相减即可。然后将**指定步长值(a)**去乘以我们的第一步的方向值。如何寻找收敛的点:在函数上的**(当前点pi)第二步得到的极值差**(方向值×步长)**4.以上步骤重复直至一个极值点出现,代表。(y’-y)^2之和min。,然后将当前pi点进行带入。,也就是满足拟合条件。一样的思路,1. 首先。y’是根据模型生成的。中,将损失函数的公式。原创 2024-05-07 23:31:39 · 181 阅读 · 0 评论 -
机器学习第二天(监督学习,无监督学习,强化学习,混合学习)
给定一组包含猫和狗图像的数据集,并且每张图像都有相应的标签(是猫还是狗),监督式学习算法可以学习如何从图像中提取特征,并预测新图像中是否有猫或狗。例如,使用聚类算法对一组顾客的购买历史进行分组,以发现具有相似购买模式的顾客群体,而无需事先知道每个顾客的标签或类别。模型试图在数据中找到某种形式的组织或聚类,而无需事先知道该数据的标签。一旦模型经过训练,它可以用于预测未见过的输入数据的输出标签。来调整自身的参数,以最小化预测与真实标签之间的误差。在无监督式学习中,训练数据。,进行升级,如果是以前的。原创 2024-05-07 22:25:40 · 175 阅读 · 0 评论 -
matplotlib和pandas与numpy
一个2D绘图库;Pandas一个分析结构化数据的工具;原创 2024-05-07 20:12:51 · 308 阅读 · 0 评论 -
人工智能学习+Python的优势
就是:规定好的逻辑和顺序,根据这个模板告诉机器接下来需要做什么,遵循。深度学习:实现机器学习的一种技术;机器学习:是实现人工智能的方法;原则——>缺点:不能根据。原创 2024-05-07 10:58:38 · 267 阅读 · 0 评论 -
langchain实现RAG(整合Wenxin和千文通义大模型)
【代码】langchain实现RAG(整合Wenxin和千文通义大模型)原创 2024-05-01 23:04:25 · 256 阅读 · 0 评论 -
请求头headers中的信息
请求的目标主机地址和端口号,这里是 127.0.0.1:5000,表示请求被发送到本地主机的 5000 端口。包含了客户端的浏览器和操作系统信息,这里是 Chrome 124 和 Edge 124。表示客户端支持的内容编码方法,这里包括了 gzip、deflate、br 和 zstd。表示客户端能够接受的内容类型及优先级,这里包括了 HTML、XML、图像等。这里包含了客户端的用户代理标识符,包括了浏览器和操作系统信息。表示客户端接受的语言及优先级,这里包括了中文、英文等。0 表示客户端不是移动设备。原创 2024-04-27 19:30:56 · 208 阅读 · 0 评论 -
Python对文件的操作
将二进制数据进行封装——>使其能够像对象一样被操作——>3.然后利用Image.open()读取文件。1.像这类文件我们一般用二进制流进行读取——>2.然后利用。原创 2024-04-27 15:14:51 · 347 阅读 · 2 评论 -
langchain+RAG的一个小demo
因此,主要的区别在于它们的设计和用途。ChatOpenAI 更适合处理对话式文本和构建对话系统,而 OpenAI 则更通用,可以用于各种文本生成任务。原创 2024-04-25 21:43:33 · 368 阅读 · 0 评论 -
Python问题:ImportError: Could not import docarray python package. Please install it with `pip install
的作用是:docarray是langchain库的一个子模块,提供了。1.查阅相关文档可知:根据报错信息知道——> 2. 提示。,我处理了一下逻辑,从error从上往下看,大致是因为。包使用不了,所以我们将pydantic 版本降下来即可。的demo需要将我们所提供的。转换为指定的数据类型。原创 2024-04-25 20:00:26 · 374 阅读 · 1 评论 -
SaaS的理解,以及对目前共享思路的理解
1.购买服务器,2.在服务器上安装软件,3.编写程序意味着自己不再需要购买服务器,而是将其——>云服务器,但是海事需要自己安装服务器上的软件。意味着你既不需要购买服务器,也不需要在服务器上安装软件,只需要自己编写程序代码即可。而SaaS服务就比如像我们购买在线论坛或者网店等服务,意味着我们不再需要自己开发网站,只需要自己进行订阅使用即可。而系统的开发升级由开发商负责。原创 2024-04-24 17:37:42 · 384 阅读 · 0 评论 -
Spring AI使用向量数据库实现检索AI对话
向量数据库(Vector Database)是一种特殊类型的数据库,在人工智能应用中发挥着重要作用。在向量数据库中,查询操作与传统的关系数据库不同。它们是执行相似性搜索,而不是精确匹配。当给定向量作为查询时,向量数据库返回与查询向量“相似”的向量。通过这种方式,我们就能将个人的数据与AI模型进行集成。常见的向量数据库有:Chroma、Milvus、Pgvector、Redis、Neo4j等。原创 2024-04-04 11:01:12 · 983 阅读 · 2 评论