爬取猫眼电影TOP100电影信息并将其保存到数据库（电影名，主演，上映时间）

最新推荐文章于 2024-07-29 21:26:17 发布

xijiao_jiao

最新推荐文章于 2024-07-29 21:26:17 发布

阅读量2.2k

点赞数

本文链接：https://blog.csdn.net/xijiao_jiao/article/details/80771848

版权

该博客介绍了一个爬虫程序，用于抓取猫眼电影网站上的TOP100电影的详细信息，包括电影名称、主演和上映时间。程序使用了Python的urllib、re和pymysql库，通过正则表达式提取数据，并通过多线程进行网页抓取。最后，数据被存储到MySQL数据库中创建的movies表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import  re
from urllib import request
from urllib.request import urlopen
from concurrent.futures import ThreadPoolExecutor
#猫眼电影Top100网址
import pymysql

url='http://maoyan.com/board/4'
films=[]
#获取TOP100所有页的网址
def get_all_url(url,page):
    url_li=[url]
    for i in range(page-1):
        new_url=url+'?offset=%d'%((i+1)*10)
        url_li.append(new_url)
    return url_li
#爬取网页信息
def get_info(url):
    header={'User-agent':'Google Chrome/67.0.3396.87'}
    req=request.Request(url,headers=header)
    with urlopen(req) as urlObj:
        return urlObj.read().decode('utf-8')
# get_info(url)
#利用正则表达式提取所需要的信息
def get_content(url):
    content=get_info(url)
    '''<a href="/films/1203" title="霸王别姬" class="image-link" data-act="boarditem-click" data-val="{movieId:1203}">
    <p class="sta