猫眼电影票房爬取到MySQL中_python爬取猫眼电影top100排行榜

python爬取猫眼电影top100排行榜

发布时间：2020-04-06 22:05:19

来源：51CTO

阅读：1762

作者：长安223

爬取猫眼电影TOP100(http://maoyan.com/board/4?offset=90)

1). 爬取内容: 电影名称，主演， 上映时间，图片url地址保存到mariadb数据库中;

2). 所有的图片保存到本地/mnt/maoyan/电影名.png

代码：

import re

import pymysql as mysql

from urllib import request

from urllib.request import urlopen

u = 'root'

p = 'root'

d = 'python'

sql = 'insert into maoyan_top100 values(%s,%s,%s,%s,%s)'

url = 'http://maoyan.com/board/4?offset='

pattern = r'

[\s\S]*?board-index.*?>(\d+)[\s\S]*? [\s]*(.*?)[\s]*?[\s\S]*?releasetime">[\s]*(.*?)[\s]*?'

myAgent = "Mozilla/5.0 (X11;