Python爬取豆瓣top榜电影

希望阅读本文的时候，你已经装好python环境。该程序用于爬取豆瓣电影数据，并将数据保存到mysql。

1.你需要在你的python中下载需要的模块，bs4，xlwt，以及pymysql

2.程序主要的步骤是分析网页，提取网页中的数据，存储。具体的mysql表结构如下：

3.python过程代码

获取网页内容

#得到一个指定url的网页内容
def askUrl(url):
    #代理,模拟浏览器发送请求，防止被检测为爬虫
    head = {
        "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"
    }
    request = urllib.request.Request(url , headers=head)
    html = ""
    try:
        response