爬虫2-正则表达式

a、学习什么是正则表达式并尝试一些正则表达式并进行匹配。

b、结合requests、re两者的内容爬取豆瓣电影 Top 250里的内容

( 要求抓取名次、影片名称、国家、导演等字段。)

1.找到网页并分析网页结构首先进入豆瓣电影Top250这个网页，按下f12打开开发者工具，如下图

2.用面向对象的方法进行爬取数据先用requests对网页进行请求，获取网页的html结构，在这里，为了防止网页的反爬虫技术，我加了个请求头（记得使用requests库之前先导入，没有的可以在命令行通过pip install requests进行下载）请求头在开发者工具中查看，如下图所示

3.如果你有点数据库基础的话，还可以把他们存入数据库，在这里我把这些数据存入MySQL数据库，代码如下，需要自己先建好数据库好表格这是操作数据库的类