爬虫实战—豆瓣250榜单的爬取

一、需要的知识

xpath语法，数据类型转化，基础的爬虫。

xpath适用于在网页数据为html时进行数据清洗，从而达到提取数据的目的。我这里推荐一个特别好用的插件，xpath-helper。如果各位友友有需要的话可以私聊我，我后续会更新安装教程以及使用操作。

数据类型转化：重点 从网页上拿下来的数据都是字符串格式数据<class 'str'> 是不能直接通过xpath语法进行提取数据的就需要转换数据类型 str>>xpath对象。如此一来我们通过第三方库进行格式的转化。通过html模块里面的etree类里面的大写的HTML方法 返回可通过xpath语法提取数据的对象 html。

二、第三方库的下载以及介绍

第三方库下载：cmd中输入pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple

作用：将爬虫拿到的字符串类型的数据转化为可提取的html类型的数据。

三、爬取思路

抓取数据流程1抓包，，发送请求2数据清洗3数据保存
目标url:https://movie.douban.com/top250。如果对于爬虫的基本流程不知道，建议看一下我的第一篇文章熟悉一下
爬虫实战https://blog.csdn.net/qq_54857095/article/details/122268948?spm=1001.2014.3001.5501

 四、页面分析

这是我们打开的界面

 我们可以得知一页25个电影。右键检查之后发现数据很是规整，这正好符合我们爬虫工程师的口味。