猫眼是一个很有影响力的电影数据分享平台,今天,我们要对这个网站的数据进行爬取,当然了,这个只是最初级的数据爬取,后面我会对该网站的加密数据进行爬取,希望能继续关注。
猫眼爬虫:爬取评分前100的电影并存入数据库
爬取数据前准备:先创建数据库表,并生成我们想要的保存到数据库中的列名(电影名称-上映时间-评分)python代码如
import pymysql
def create():
db = pymysql.connect("localhost", "root", "liulinxs", "testdb")#连接数据库
#更改自己的密码和testdb,这个很重要,等下表单创建好了可以在Navicat for MySQL中查询。
'''
我这里的数据库名字是root,密码是liulinxs,你自己的不同得修改
'''
cursor = db.cursor()
'''
下面是创建表单的写法,2019moviedata是我新创立的表单,先检验是否存在,再建立!
'''
cursor.execute("DROP TABLE IF EXISTS moviescore")
#记得,两处地方都要修改,否则数据存储会出现问题。
sql = """CREATE TABLE moviescore(
name char(255),
date int(255),
score int(255))"""
cursor.execute(sql)
db.close()