爬取豆瓣top250电影每条电影的前n页评论，需要上一条博客代码里爬取的基本信息

#连接自己的数据库 电影基本数据库表已上传可以下载 或者自己根据上一条博客的代码爬取后存到自己的数据库
有整个项目的资源可以下载 已上传flask+…

import pymysql
import sys
import requests
import bs4
import re
#连接 mysql，获取连接的对象 
con = pymysql.connect(host='localhost', user='name', password='123456', port=3306, db='student')
with con:
    cur = con.cursor()#仍然是，第一步要获取连接的 cursor 对象，用于执行查询
    cur.execute("SELECT movies_address FROM movies_info")#类似于其他语言的 query 函数，execute 是 python 中的执行查询函数
    rows = cur.fetchall()#使用 fetchall 函数，将结果集（多维元组）存入 rows 里面
    mov_address=[]
    for row in rows:       #依次遍历结果集，发现每个元素，就是表中的一条记录，用一个元组来显示
        mov_address.append(row)

def open_url(url):
    headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
    res=requests.get(url,headers=headers)
    return res
def find_movies(res):
    soup=bs4.BeautifulSoup(res.text,'html.parser')
    #评论
    movies_comment=[]
    targets=soup.find_all("div",class_='comment-item')
    for each in targets:
        movies_comment.append(each.p.span.text)
    return movies_comment
#找出有多少页面
def main():
    for i in range(10):  #前十部
        host = mov_address[i][0] #print(mov_address[2][0])#[0][0]代表第一个元素 [1][0]代表第二个元素 https://movie.douban.com/subject/1292720/
        res = open_url(host)
        filename='E:\pythonimg\电影\\'+str(i)+'.txt'  #这里保存影评地址
        #print(mov_address[i][0])

        info = []
        for i in range(3):  # 爬取3页评论
            url = host + 'comments?start=' + str(20 * i) + '&limit=20&sort=new_score&status=P'
            res = open_url(url)
            info.extend(find_movies(res))

            with open(filename, 'w', encoding='utf-8') as f:
                for each in info:
                    f.write(each)
if __name__=="__main__":
    main()