之前一直想了解一下python的爬虫功能,决定从github上开始学习。一个非常好的库来自于小帅比的python教程。然后决定先做一个小例子,爬取全国的电影院信息。
之后在贴吧一个帖子中看到有个方便的api接口:【求助】想爬虫获取猫眼网全国的影院信息,不会切换城市。基本思路就是很明确了,爬取城市JSON信息解析→爬取各城市JSON电影院信息解析→存储到sqlite数据库中。因为我本身做qt开发,决定再做个qt界面显示和添加删除信息,也算是练下数据库操作。
全部源码: MartinChan3/CinemasData
爬虫源码:
import requests
import json
import sqlite3
conn = sqlite3.connect('f:/cinemas.db')
c = conn.cursor()
c.execute('create table if not exists cinemas(id int, name text, mark int, address text, sellPrice float, regionId int, regionName text)')
print(u'数据库已打开')
class Cinema:
def __init__(self, name, id, mark, address, sellPrice):
self.name = n