一 . 原理
python实战的第一个项目基本上都是豆瓣的top250吧hhhh。
这次采取的是正则提取内容,用来熟悉正则表达式
首先要拿到页面的源代码,然后通过观察,编写正则表达式来提取出我们想要的内容,最后通过一个while循环来提取到每个网页上的内容
二 . 注意点
1 . 返回403
在写完request的时候,可以打印一下返回的respond,看看是否返回200,即正确请求
如果返回的是403的话,记得加一个UA(User Agent),因为如果不加UA的话,发出的请求默认UA是python,看不出来是个浏览器,所以会被拦截,所以我们要伪装
2 . 循环获取页面数据
这里我是用的while循环,记得open()创建文件时,mode不能选择’w’,因为’w’模式是覆盖数据然后重新书写,就因为这个东西改了整整一天bug呜呜呜
mode选择位’a’或者’a+'即可
3 . 正则表达式
书写正则表达式老复杂了,因为我是用VS code写的代码,所以大家注意一些高亮语法,来尽量避免错误。
同时在看网页源代码的时候千万千万不要看岔了,我又因为看岔了改了半天bug呜呜呜。
三 . 代码
# 拿到页面源代码
# 正则提取内容
import requests
import re
import csv
flag = 0
while flag <= 225:
url = "https://movie.douban.com/top250""?start=" + str(flag) + "&filter="
myHeader = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36"
}
res1 = requests.get(url,headers=myHeader)
print(res1)
print(flag)
pagecontent = res1.text
# 解析数据
obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)'
r'</span>.*?<p class="">.*?<br>(?P<year>.*?) '
r'.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>'
r'.*?<span>(?P<number>.*?)</span>',re.S)
res2 = obj.finditer(pagecontent)
#print(res)
f = open("data.csv", mode='a+',encoding='utf-8')
csvwriter = csv.writer(f)
for i in res2:
# print(i.group("name"))
# print(i.group("year").strip())
# print(i.group("score"))
# print(i.group("number"))
dic = i.groupdict()
dic['year'] = dic['year'].strip() # 对年份进行单独处理
csvwriter.writerow(dic.values())
flag += 25
print("over!")