山东大学软件学院创新项目实训——提供训练ChatGLM-6B模型的数据集

快乐啦啦啦啦啦

已于 2024-06-24 11:41:54 修改

阅读量120

点赞数 2

文章标签：阿里云

于 2024-06-24 10:39:07 首次发布

本文链接：https://blog.csdn.net/m0_69576462/article/details/139917947

版权

 遍历方式介绍
本文涉及的遍历思路有两种：
- 根据id进行遍历
- 根据关键词种子，遍历搜索结果

根据id进行遍历
豆瓣电影信息的url格式为：https://movie.douban.com/subject/id。例如：https://movie.douban.com/subject/26683290/

豆瓣是从2005年创办的，2005年以前的电影信息id很可能是最早的id。

搜索1999，得到一个1998年的电影。https://movie.douban.com/subject/1303954/。 id编号是七位的数字：1303954。搜索2016，得到最新的电影。https://movie.douban.com/subject/26928204/。 id编号是八位的数字：26928204。
由此猜测，目前(2016年)豆瓣电影的id大致是1300000到27000000。

由于反爬虫的设计，id是不连续的。为了提高命中率，需要对id的分布规律进行分析。

 根据关键词种子，遍历搜索结果
豆瓣电影提供了搜索接口。通过关键词搜索得到相关记录的链接。
比如按年份获取，关键词可为：2005,2006，....2016。
比如分分类获取，关键词可为：动作，冒险，爱情，记录...。


总结

需要较为完整的数据库信息，可采用id遍历。
抓取的目的性较强时，可以采用关键词抓取。

 TODO:
- [ ] 豆瓣的URL设计是比较符合RESTful规范的。根据豆瓣的id即可抓取其他相关的资源
- [ ] 由于豆瓣的反爬虫机制，id是稀疏。可以考虑筛选一些没有内容的id以提高命中率。
- [ ] 由于豆瓣限制了每个IP允许抓取的访问次数，可以使用代理IP[proxymesh]，来提升抓取速度。

最终爬取了26057条数据