2021-01-08

豆瓣电影爬取数据

import os
import random
import time
from urllib import request

def Douban_data_wash(text1):
text1 = text1.split(‘

豆瓣电影 Top 250

’)[1] # 切去网页头
for i in range(0, 25):
text = text1.split(’’)[i] # 切片
#
rank = text.split(’<em class="">’)[1].split("")[0] # 获取排名
title = text.split(’’)[0].split(’>’)[-1].strip() # 获取电影名

    rate = text.split('v:average\">')[1].split('</span>')[0]  # 评分
    number = text.split('star')[1].split('<span>')[1].split('</span>')[0]  # 评分人数
    try:
        quote = text.split('inq')[1].split('>')[1].split('<')[0]  # 部分电影无推荐理由，抓取可能出现的异常indexoutofrange
    except:
        print(rank + "该处评价为空")
        quote = " "  # 设置推荐理由为空
    file = open("./豆瓣数据/豆瓣数据.txt", "a")  # 追加方式写文件
    file.write(
        "排名:" + rank + ",《" + title + "》,豆瓣评分" + rate + ",评价人数:" + number + "。推荐理由:" + quote + "\n")  # 以追加方式写入文件
    file.close()
    print("排名{}，《{}》，豆瓣评分{}，{}。推荐理由：{}".format(rank, title, rate, number, quote))

def DouBanSpide(i):
url = “https://movie.douban.com/top250?start=” + str(i * 25)
user_agent = {
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36”} # 字典形式，也可以通过其它形式进行
req = request.Request(url=url, headers=user_agent)
html = request.urlopen(req)
Douban_data_wash(html.read().decode())

if name == ‘main’:
#os.mkdir("./豆瓣数据")#创建文件夹用来保存数据，第一次运行，其它时间注释掉
for i in range(0, 10):
DouBanSpide(i)
time.sleep(random.randint(2, 10)) # 随机休眠2-10秒，防检测



首先user-Agent获取，进入豆瓣网，在网页内任意位置单机鼠标右键，鼠标左键单击检查，在弹出的对话框中逐次找到并点击network,all,选择任意资源，鼠标左键单击hearders,全选复制粘贴到文件夹中找到user-Agent。
本次实验利用urllib中的request对豆瓣网发出请求，利用split函数，对相关信息进行切片操作并利用for i in range（）函数进行重复操作。