python数据挖掘电影评分分析_[Python数据挖掘]爬行豆瓣影评数据,python,爬取

# 1、导入需要的库

import urllib.request

from bs4 import BeautifulSoup

# 随机数的库

import random

# 时间库

import time

# 表格库

import csv

# 2、分多个浏览器访问豆瓣网，防止访问多页时被拒绝

# 每个浏览器在请求数据的时候，请求头是不一样

# 计算机命名规则：驼峰命名法

# url：传值过来的访问地址

def getRequest(url):

# 谷歌浏览器

header1 = {

"Host":"movie.douban.com",

"User-Agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36"

}

# 火狐浏览器

header2 = {

"Host": "movie.douban.com",

"User-Agent": "Mozilla/5.0 (Windows NT 6.1; rv:73.0) Gecko/20100101 Firefox/73.0"

}

# 将浏览器装入列表里

list = [header1,header2]

# 随机取一个请求头 len(list)-1：列表长度-1

index