quququlala的博客

原创 爬取公共文化云数据（最后有代码下载地址）

预选准备   要爬取数据首先需要对国家公共文化云进行分析,利用Chrome开发者工具观察其页面结构以及接口url等。  使用站内的搜索功能，查看其接口地址以及返回的数据格式。   返回的数据中有两项较为重要，分别为id和type，用于拼接资源的url。这一点可以在前端解析数据的代码中发现。 通过前期的准备，就形成了一个爬取数据的思路。 1.由关键字调用接口获取所有符合要求的资源列表（url集合）。 2.不同的资源有不同的格式，分别对这些页面进行解析。 3.保存需要的数据。 针对新闻资源进行爬取   本文