Python调用豆瓣API抓取top250电影并存储进数据库

最新推荐文章于 2024-08-01 14:57:53 发布

biglee要好好写博客

最新推荐文章于 2024-08-01 14:57:53 发布

阅读量3.8k

点赞数 1

分类专栏： Python 文章标签： python 豆瓣 api 数据库存储

本文链接：https://blog.csdn.net/qq894662851/article/details/52653772

版权

这篇博客记录了作者如何使用Python调用豆瓣API获取Top250电影信息，并将数据存储到SQLite数据库中，作为初学者实践Python技能的过程。

摘要由CSDN通过智能技术生成

前言：学习了一段时间的python，想要把学习到的东西串起来做一遍，于是有了这个小程序，初学者，记录自己的学习过程 ^-^

Python广泛应用于爬虫程序，但是爬虫程序有时候需要对页面做复杂的解析，正则匹配，对于初学者来说，在学习操作的过程中，往往会发现问题一个接着一个，出现半途而废的情况。其实现在很多网站都有对外提供API，有时候使用API也能够获得想要的数据，而且更友好。

豆瓣API地址：https://developers.douban.com/wiki/?title=api_v2
在这里面能够找到豆瓣对外提供的各种接口，我这次选的是获取Top250的电影信息：https://api.douban.com/v2/movie/top250

#!/usr/bin/python
#coding: utf-8
import urllib2
import json
import sqlite3
n=0
#url = 'https://api.douban.com/v2/movie/in_theaters'
fname = 'D:/Python/workspace/test0814/Top250'  #下载文件的临时存储位置
conn = sqlite3.connect('DoubanApi.sqlite')
cur = conn.cursor()
cur.executescript('''
DROP TABLE IF EXISTS Top250;

CREATE TABLE Top250 (
    id  INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT UNIQUE,
    film_name    TEXT UNIQUE,
    film_director    TEXT,
    film_artist1    TEXT,
    film_artist2    TEXT,
    film_y