大模型研发全揭秘：数据决定模型成败！如何确保数据采集不踩坑？

最新推荐文章于 2024-10-24 10:22:41 发布

Cc不爱吃洋葱

最新推荐文章于 2024-10-24 10:22:41 发布

阅读量1.1k

点赞数 26

文章标签：人工智能大语言模型 LLM 大模型大模型应用大模型开发自然语言处理

本文链接：https://blog.csdn.net/2401_85328934/article/details/141923155

版权

在大模型项目的研发流程中，数据采集是至关重要的一环。数据的质量直接影响模型的性能，错误的数据或低质量的数据可能会导致模型产生偏差或做出不准确的预测。本文将详细介绍大模型项目中数据采集的各个步骤，并提供一些实用的工具和示例代码，帮助AI领域的从业者掌握这一关键技能。

一、定义数据需求

在开始数据采集之前，首先需要明确数据需求。这一步的关键是要明确你需要收集什么样的数据，这取决于你的问题陈述和项目目标。具体步骤如下：

明确问题陈述：确定你要解决的问题是什么，例如你是在构建一个中文自然语言处理模型还是一个面向国内市场的图像识别模型？问题的性质决定了你需要的数据类型。
确定数据类型：根据问题确定需要的具体数据类型。例如，如果你在做中文情感分析，你可能需要大量的中文文本数据并标注情感类型；如果你在做汉字识别，你需要大量的标注过的汉字图像数据。
设定数据质量标准：定义收集到的数据需要满足的质量标准，例如数据的准确性、完整性和一致性。这些标准将帮助你在后续的质量检查过程中评估数据。

二、找到数据源

明确数据需求后，下一步是找到合适的数据源。这些数据源可以是公开的数据库，也可以是公司内部的数据，甚至可以通过人工标注生成新的数据。以下是一些常用的数据源：

公开数据库：利用已有的公开数据库是获取数据的常见方式。例如，中文自然语言处理可以使用搜狗语料库、清华大学中文自然语言处理组的开源数据集，图像数据可以从百度AI开放平台中获取。
公司内部数据：对于在国内企业工作的开发者，公司内部数据往往是最有价值的。比如用户行为数据、产品使用数据等。这类数据的获取需要遵守公司规定，特别是用户隐私保护和数据安全问题。
API在线数据：一些实时数据可以通过国内的API获取。例如，通过新浪微博API收集微博数据，通过天猫和京东API获取电商数据。国内的API通常会有中文文档，方便开发者调用。
人工数据标注：如果现有数据不足以满足需求，人工标注可以生成新的数据集。这在特定领域如法律、医学或金融领域尤其常见。例如，可以通过百度众测平台进行数据标注。

三、数据收集

找到合适的数据源后，就可以开始数据收集。不同的数据源有不同的收集方式，这里介绍几种常见方法，并提供相应的工具和代码示例：

数据库导出：如果数据源是一个数据库，可以通过SQL查询将所需数据导出为CSV或JSON文件。这种方式适用于结构化数据。推荐使用Navicat或DataGrip等工具来管理和导出数据。

示例代码：

SELECT * FROM user_data WHERE created_at >= '2023-01-01';

API在线数据：使用编程语言（如Python）调用API，获取实时数据并保存下来。常用的库有requests、http.client或aiohttp。

示例代码：

import requests

url = "https://api.weibo.com/2/statuses/public_timeline.json"
params = {'access_token': 'YOUR_ACCESS_TOKEN', 'count': 10}
response = requests.get(url, params=params)
data = response.json()
print(data)

Web Scraping（网页爬虫）：如果数据来源是网页内容，可以使用爬虫技术自动化地获取网页上的数据。常用工具有Scrapy、BeautifulSoup和Selenium。需要注意合法性和隐私问题，避免爬取过于频繁或违反网站的robots协议。

示例代码：

from bs4 import BeautifulSoup
import requests

url = 'https://news.sina.com.cn/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

headlines = soup.find_all('h1')
for headline in headlines:
    print(headline.text)

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

四、数据存储

文件系统：对于小规模或不太复杂的数据，简单地存储在文件系统中（如CSV、JSON文件）即可。推荐使用Pandas库来处理和保存数据。

示例代码：

import pandas as pd

data = {'name': ['张三', '李四', '王五'], 'age': [23, 24, 25]}
df = pd.DataFrame(data)
df.to_csv('data.csv', index=False)

数据库：如果数据量较大，或需要频繁访问和查询数据，可以将数据存储在关系型数据库（如MySQL、PostgreSQL）或NoSQL数据库（如MongoDB）中。

示例代码：

import pymysql

connection = pymysql.connect(host='localhost',
                             user='user',
                             password='passwd',
                             database='testdb')
cursor = connection.cursor()
cursor.execute("INSERT INTO users (name, age) VALUES ('张三', 23)")
connection.commit()
cursor.close()
connection.close()

云存储：对于需要高可用性和大规模存储的项目，可以选择使用云存储服务（如阿里云OSS、腾讯云COS）。这些平台提供良好的扩展性和备份机制。

示例代码（阿里云OSS）：

from aliyunsdkcore.client import AcsClient
from aliyunsdkossadmin.request.v20150302 import PutObjectRequest

client = AcsClient('ACCESS_KEY_ID', 'ACCESS_KEY_SECRET', 'cn-hangzhou')
request = PutObjectRequest.PutObjectRequest()
request.set_BucketName('your-bucket-name')
request.set_ObjectName('example.txt')
request.set_Body('this is a test')
client.do_action_with_exception(request)

五、检查数据质量

数据收集完成后，检查数据质量是必不可少的一步。高质量的数据是成功训练模型的基础，以下是常见的质量检查方法，并附上相应的工具和代码指导：

数据清洗：检查并处理缺失值、重复值和异常值。可以使用Pandas库进行数据清洗。

示例代码：

import pandas as pd``   ``df = pd.read_csv('data.csv')``df.dropna(inplace=True)  # 删除缺失值``df.drop_duplicates(inplace=True)  # 删除重复值``print(df.describe())  # 查看基本统计信息``

一致性检查：确保数据的一致性，例如同一字段的数据格式是否一致，时间戳是否符合预期等。可以使用正则表达式或日期处理库如datetime来检查数据一致性。

示例代码：

import re
import pandas as pd

def check_phone_number(phone):
    pattern = re.compile(r"^1[3-9]\d{9}$")  # 检查手机号格式
    return bool(pattern.match(phone))

df = pd.read_csv('data.csv')
df['valid_phone'] = df['phone'].apply(check_phone_number)
print(df[df['valid_phone'] == False])  # 打印不符合的手机号

准确性验证：根据实际需求验证数据的准确性。例如，通过抽样检查确认数据标签是否正确。

示例代码：

import random

df = pd.read_csv('data.csv')
sample_df = df.sample(10)  # 随机抽样10条数据
print(sample_df)

数据平衡性：检查分类问题中各类标签的数据是否平衡。如果数据不平衡，可能需要采用重采样或生成对抗网络（GAN）等方法来平衡数据。

示例代码：

import pandas as pd

df = pd.read_csv('data.csv')
print(df['label'].value_counts())  # 查看每个标签的数量

六、总结

数据采集是大模型项目中不可或缺的一部分，掌握这一技能不仅能够为模型提供高质量的输入，还能为后续的模型训练和优化打下坚实的基础。从明确数据需求到检查数据质量，每一步都需要细致的规划和执行。希望通过本文的介绍，能够帮助AI从业者在实际项目中获得宝贵的知识和实践经验，为你的大模型项目奠定坚实的基础。

在大模型时代，我们如何有效的去学习大模型？

现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家_。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

在这里插入图片描述

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。