【人工智能时代】- AI 大模型训练-全球数据采集攻略？

前言

在当今时代，数据采集的重要性不言而喻。

比如爬取社交网站信息，可以做舆论监控、热点追踪。爬取电商网站，可以跟踪潮流、发现优惠、进行品牌分析。爬取招聘网站信息，求职者可以找到符合需求的公司，公司可以发现符合需求的人才。爬取指定网站，更是可以对网站的用户、内容等做分析，针对性制定策略。

尤其是现在，人工智能（AI）迅猛发展，大数据和大模型已经成为推动技术进步的重要驱动力。数据采集的质量和效率直接影响着人工智能模型的性能，是推动 AI 发展的基础性工作。

然而数据采集说简单也简单，说复杂也复杂。数据采集从步骤上来说，其实就分 2 步：

1. 数据爬取：根据设定的程序在网络上搜索指定信息
2. 数据采集：将信息从网站中提取出来，存放到数据库

如果是一般的小网站，简单写点代码也许就可以直接爬取了。但如果是中大型网站（比如微博、知乎、小红书、思否），往往都会设置反爬策略：

有的会根据 IP 进行限制，排除掉某些地域的 IP 或者如果某个 IP 短时间内过度频繁访问就进行限制。有的会根据 User-Agent 进行判断，有的则会使用 JS 对数据进行加密从而保护数据。<