大模型学习路线（2）——数据工程（数据预处理）

已于 2024-05-16 19:02:00 修改
阅读量490 收藏 3
点赞数 13
文章标签： 学习 AIGC 人工智能 机器学习
于 2024-05-16 18:56:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51175703/article/details/138971114
版权

目录

前言

一、数据工程（Data Engine）

二、Token分词/Tokenizer

三、提示工程

四、向量数据库

前言

该思维导图参考自ZOMI酱的B站视频整理而来，数据预处理/数据工程全栈式的思维导图如下：

视频链接1：ZOMI酱的个人空间-ZOMI酱个人主页-哔哩哔哩视频 (bilibili.com)

视频链接2：向量数据库介绍，Vector和Embedding关系 #大模型 #向量数据库_哔哩哔哩_bilibili

一、数据工程（Data Engine）

（待更......）

二、Token分词/Tokenizer

Tokenizer部分直接看此链接足矣：大模型基础组件 - Tokenizer - 知乎 (zhihu.com)

三、提示工程

（待更......）

四、向量数据库

关于知识向量库内容，看ZOMI酱up主该套视频足矣：向量数据库介绍，Vector和Embedding关系 #大模型 #向量数据库_哔哩哔哩_bilibili

（其它再说，最近太忙了，没时间写，挖个坑、下次一定！）

熬夜造bug
关注
  • 13
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
深度学习在美团搜索广告排序的应用实践.pdf
10-31
在计算广告场景中，需要平衡和优化三个参与方——用户、广告主、平台的关 键指标，而预估点击率CTR(Click-through Rate)和转化率CVR (Conversion Rate)是其中非常重要的一环，准确地预估CTR和CVR对于提 高流量变现效率，提升广告主ROI(Return on Investment)，保证用户体验 等都有重要的指导作用。 传统的CTR/CVR预估，典型的机器学习方法包括人工特征工程 + LR (Logistic Regression)[1]、GBDT(Gradient Boosting Decision Tree)[2] + LR、FM(Factorization Machine)[3]和FFM(Field-aware Factorization Machine)[4]等模型。相比于传统机器学习方法，深度学习模 型近几年在多领域多任务(图像识别、物体检测、翻译系统等)的突出表现， 印证了神经网络的强大表达能力，以及端到端模型有效的特征构造能力。同时 各种开源深度学习框架层出不穷，美团集团数据平台中心也迅速地搭建了GPU 计算平台，提供GPU集群，支持TensorFlow、MXNet、Caffe等框架，提供 数据预处理、模型训练、离线预测、模型部署等功能，为集团各部门的策略算 法迭代提供了强有力的支持。 美团海量的用户与商家数据，广告复杂的场景下众多的影响因素，为深度学习 方法的应用落地提供了丰富的场景。本文将结合广告特殊的业务场景，介绍美 团搜索广告场景下深度学习的应用和探索。主要包括以下两大部分: · CTR/CVR预估由机器学习向深度学习迁移的模型探索 · CTR/CVR预估基于深度学习模型的线下训练/线上预估的工程优化
大数据分析案例：电力窃漏电用户自动识别.rar
04-06
力窃漏电用户自动识别 1.背景与数据分析目的 a.通过电力系统采集到的数据，提取出窃漏电用户的关键特征， b.构建窃漏电用户的识别模型:以实现自动检查、判断用户是否是存在窃漏电行为。 2.数据预处理 通过对拿到的数据进行数据质量分析，检查原始数据中存在的脏数据，通过查看原始数据中抽取的数据，发现存在数据缺失的现象，使用朗格拉日插值法：选取缺失值前5个数据作为前参考组，缺失值后5个数据作为后参考组，处理缺失值程序. 3.挖掘建模 从专家样本中随机选取20%作为测试样本，剩下的80%作为训练样本，初步选择常用的分类预测模型：CART决策树和LM神经网络。 3.1 构建CART决策树模型 3.2 LM神经网络模型 3.3 CART和LM模型对比 结论：LM神经网络的ROC曲线比CART决策树更加靠近单位方形的左上角且LM神经网络的ROC曲线下的面积更大，则LM神经网络预测模型的分类性能更好，更适合应用于窃漏电用户自动识别当中。 将处理后的数据作为模型输入数据，利用构建好的模型（位于工程的tmp中）计算用户的窃漏电结果，并与实际调查结果做对比，对模型进行优化，进一步提高识别准确率。 ——
一文了解什么是大模型？到底大模型有什么用呢？
lvaolan8888的博客
04-29 905
大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。大模型的设计目的是为了提高模型的表达能力和预测性能，能够处理更加复杂的任务和数据。大模型在各种领域都有广泛的应用，包括自然语言处理、计算机视觉、语音识别和推荐系统等。大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。
百度地图毕业设计源码-MLVP:可视编程机器学习平台-『人人可做的机器学习』-《智能数据挖掘》实战系列视频演示实验数据集与数据分析流
06-06
百度地图毕业设计源码 人人可做的机器学习 -《智能数据挖掘》实战系列视频 智能数据挖掘演示平台，是广州跨象乘云软件技术有限公司基于 Orange 的本地化扩展开发的版本，视频内所演示的全部实验均与 Orange 原始发布平台完全兼容，均可重现。借助交互式可视化界面，提供人工智能模型训练的全流程支撑智能化平台。支持从：面向多源、多格式数据融合，在线预处理，特征工程、智能统计；到模型训练、非监督学习、深度学习、强化学习；到模型评估、模型教学、预测、模型管理及交互式数据可视化发布等端到端功能。平台高效易用，开放支持 Python 模型代入；同时将数据科学中复杂的数据操作、机器学习算法、交互式数据可视化脚本，设置为流程组件，通过鼠标拖放，即能实现基于工作流的人工智能模型训练 —— 助力高校经管学院，统计数理学院等非计算机类专业师生，实现数据挖掘与机器学习的教学与科研工作。 演示视频频道 第1集 - 又一个鸢尾花分类（数据分类） Orange 是一款高效灵活的数据挖据工具，没有编程与统计学领域知识背景的学生，在职人士与科研人员，一样能实现机器学习算法模型的高级操作，把机器学习工具应用自如，就如同
基于paddle搭建神经网络实现5种水果识别分类python源码+水果数据集.zip
09-01
【资源说明】 基于paddle搭建神经网络实现5种水果识别分类python源码+水果数据集.zip 数据集介绍 - 来源：爬虫爬取百度图片 - 内容：总共1036水果图片，共5个类别（苹果288张、香蕉275张、葡萄216张、橙子276张、梨251张） - 图像预处理时，将其中的10%作为测试数据，90%作为训练数据 总体步骤 - 数据预处理：建立分类文件，建立数据集和测试集 - 训练与模型评估 - 读取测试图片进行预测 # 步骤一：预处理 - 图片位于5个目录中，遍历每个目录，将其中的90%写入训练集文件中，10%写入测试集文件中，文件中记录了图片的路径，用于数据读取器进行读取 - 生成3个文件：readme.json(汇总文件)、train_list(训练集)、test.list(测试集) - 注意 - 数据集的路径是否正确 - 生成的汇总文件、训练集文件、测试集文件是否正确 # 步骤二：模型训练与评估 - 模型： - 输入层 ——》 卷积-池化层-dropout ——》 卷积-池化层-dropout ——》 卷积-池化层-dropout ——》全连接层 ——》dropout ——》 全连接层 ——》输出 # 步骤三：预测 优化手段 - 样本 - 增大样本数量 - 数据增强 - 形态变化：翻转、平移，随机修剪，尺度变化，旋转（卷积核的旋转） - 色彩变化：图像白化（将图像本身归一化成Gaussian(0,1)分布） - 加入噪声 - 模型和参数 - 丢弃学习：按照一定的比率丢弃神经元输出 - 权重的衰减：为损失函数添加惩罚项使得训练模型参数尽可能的小 - 批量正则化：在每一层输入之前增加归一化处理，使得均值为0，标准差为1，将数据限制在统一分布之下 - 变化学习率 - 更换精度更高的网络模型，如由简单的CNN换成VGG、GooLeNet 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
机器学习应用实例-使用逻辑回归算法（Logistic Regression）实现信用卡欺诈检测
05-07
Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。 本资源使用基于Sklearn实现逻辑回归算法，同时提供了用于模型训练的数据集（信用卡数据集合），实现对是否存在信用卡欺诈行为进行检测。资源包括以下内容： 1、jupyter notebook程序源码 2、用于模型训练的数据集（csv文件） 3、使用混淆矩阵对测试结果进行评估 LR实现简单高效易解释，计算速度快，易并行，在大规模数据情况下非常适用，更适合于应对数值型和标称型数据，主要适合解决线性可分的问题，但容易欠拟合，大多数情况下需要手动进行特征工程，构建组合特征，分类精度不高。 LR直接对分类可能性进行建模，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题 LR能以概率的形式输出，而非知识0，1判定，对许多利用概率辅助决策的任务很有用 对率函数任意阶可导，具有很好的数学性质，许多现有的数值优化算法都可以用来求最优解，训练速度快 适用情景：LR是很多分类算法的基础组件，它的好处是输出。
大数据建模流程之数据处理
image
06-09 1376
原文链接 数据是建模的基础，也是研究事物发展规律的材料。数据本身的可信度和处理的方式将直接决定模型的天花板在何处。一个太过杂乱的数据，无论用多么精炼的模型都无法解决数据的本质问题，也就造成了模型的效果不理想的效果。这也是我们目前所要攻克的壁垒。但是，目前我们市场对的数据或者科研的数据并不是完全杂乱无章的，基本都是有规律可循的，因此，用模型算法去进行科学的分析，可以主观情绪对决策的影响。所以数据是非常重要的一部分。那么，接下来我们就详细说一下数据的处理与分析。 一.数据的基本特征 当看到数据的时候，首要做的并
人工智能大模型技术基础系列之：大规模数据处理与特征工程
禅与计算机程序设计艺术
11-10 68
1.背景介绍 大数据时代带来的新型信息技术正在颠覆传统行业服务方式，例如零售、电商、金融等领域。对数据的采集、存储和处理需要一个高效且可靠的系统来管理海量的数据，并提取有效的信息特征，才能构建出有效的机器学习模型。而机器学习的关键在于数据的预处理和特征工程，如何进行有效地特征工程才能使得机器学习模型更加精准，并且在实际应用中也能够取得更好的效果？
python数据分析——数据预处理
qq_74013365的博客
05-30 5683
数据预处理是数据分析过程中不可或缺的一环，它的目的是为了使原始数据更加规整、清晰，以便于后续的数据分析和建模工作。在Python数据分析中，数据预处理通常包括数据清洗、数据转换和数据特征工程等步骤。数据清洗是数据预处理的第一步，主要是为了解决数据中的缺失值、异常值、重复值等问题。Python提供了丰富的库和工具来处理这些问题，如pandas库可以帮助我们方便地处理数据框（DataFrame）中的缺失值和重复值。对于异常值，我们可以通过统计分析、可视化等方法来识别和处理。
机器学习与数据挖掘——数据预处理
eyes++的博客
12-02 2732
数据挖掘处理的初始数据集描述了一个极大的总体，对数据的分析只基于样本的一个子集。获得数据的子集后，用它来提供整个数据集的一些信息，这个子集通常叫做估计量，它的质量依赖于所选子集中的元素。取样过程总会造成取样误差，取样误差对所有的方法和策略来讲都是固有的、不可避免的，当子集的规模变大时，取样误差一般会降低。数据归约技术可以用来得到数据集的归约表示，它小得多，但仍接近地保持原数据的完整性。数据清理的基本概念：数据清理一般指对数据通用性的处理，旨在提高数据质量，与分析任务关联不大。
机器学习——数据预处理
qq_42138271的博客
05-13 1031
数据预处理需要根据数据本身的特性进行，有不同的格式和不同的要求，有缺失值的要填，有无效数据的要剔，有冗余维的要选，这些步骤都和数据本身的特性紧密相关。数据预处理大致分为三个步骤：数据的准备、数据的转换、数据的输出。数据处理是系统工程的基本环节，也是提高算法准确度的有效手段。因此，为了提高算法模型的准确度，在机器学习中也要根据算法的特征和数据的特征对数据进行转换。这里将利用scikit-learn来转换数据，以便我们将处理后的数据应用到算法中，这样也可以提高算法模型的准确度。 主要介绍以下几种数据转换方法：调
书籍学习|基于SprinBoot+vue的书籍学习平台(源码+数据库+文档)
JIngJaneIL的博客
05-28 1045
首先,论文一开始便是清楚的论述了平台的研究内容。其次,剖析平台需求分析,弄明白“做什么”,分析包括业务分析和业务流程的分析以及用例分析,更进一步明确平台的需求。然后在明白了平台的需求基础上需要进一步地设计平台,主要包罗软件架构模式、整体功能模块、数据库设计。本项目软件架构选择B/S模式和java技术，总体功能模块运用自顶向下的分层思想。再然后就是实现平台并进行代码编写实现功能。论文的最后章节总结一下自己完成本论文和开发本项目的心得和总结。通过书籍学习平台将会使书籍学习各个方面的工作效率带来实质性的提升。
学习整理 docker
wonder_dog的博客
05-31 57
nexus。
强化学习——学习笔记3
qq_52302919的博客
05-29 1177
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
oracle中的INTERVAL函数学习总结
weixin_42821740的博客
05-30 312
简单学懂interval函数
超大功率光伏并网逆变器学习(三相)
最新发布
我的博客
05-31 161
1.超大功率用的IGBT开关频率通常很低,比如6KHz。2.线电压和相电压的关系。
sklearn库中的数据预处理
08-30
在sklearn库中，数据预处理是指对原始数据进行转换和调整，以使其适用于机器学习模型的训练和评估。sklearn库提供了多种数据预处理的方法和函数。 其中，常用的数据预处理方法包括： - 特征选择：通过选择最具有代表性的特征，减少特征维度，提高模型性能。可以使用SelectKBest方法配合chi2方法进行特征选择，例如：X_fschi = SelectKBest(chi2, k=300).fit_transform(X_fsvar, y)。 - 特征转换：将原始特征转换成更适合模型使用的形式，如使用主成分分析（PCA）进行特征降维。sklearn提供了PCA方法，可以使用sklearn.decomposition.PCA类进行主成分分析。 - 数据规范化：通过缩放原始数据，使其具有相似的尺度，避免某些特征对模型训练的影响过大。sklearn提供了StandardScaler类和MinMaxScaler类进行数据规范化。 - 缺失值处理：处理缺失值的方法包括删除带有缺失值的样本、用均值或中位数替代缺失值等。sklearn提供了Imputer类进行缺失值处理。 - 数据标准化：将原始数据转化为均值为0，方差为1的标准正态分布。sklearn提供了StandardScaler类进行数据标准化。 这些方法和函数可以通过调用sklearn库中相应的模块和类进行使用。参考文献提供了关于sklearn库的使用教程和示例，可以详细了解sklearn库中的数据预处理方法的使用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [机器学习sklearn工具——sklearn中的数据预处理和特征工程](https://blog.csdn.net/weixin_39736118/article/details/128517125)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [数据挖掘库sklearn的使用教程和demo](https://download.csdn.net/download/weixin_67336587/85527941)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值