Pyspider框架爬取json数据-并存入mysql

本文介绍了如何使用Pyspider框架从一个JSON数据接口抓取信息,并将数据存储到MySQL数据库中。首先,通过Anaconda安装配置Pyspider,然后利用提供的API接口获取新闻数据。数据格式为JSON,包含多个条目。接着,设计数据库表结构以适应这些数据,最后编写Pyspider爬虫程序实现数据抓取和入库。源代码可在GitHub找到。
摘要由CSDN通过智能技术生成

使用Pyspider框架爬取数据

安装配置:

Anaconda3 5.2.0 ——python3.6
安装命令:
pip install pyspider

pip install pymysql

终端启动命令:

pyspider

进入pyspider dashboard : localhost:5000

官网上面给了很多用法:
http://docs.pyspider.org/en/latest/

我这里简单的结合一个API接口来获取里面的数据
数据接口来自:https://newsapi.org
免费使用里面的接口,只要申请一个apikey。自行申请不介绍了。
里面的数据是这样子的:
在这里插入图片描述

现在的任务是:爬取上面articles里每一个author,title,url,publishedAt并把书存入mysql数据库中.

任务思维:
1.目标的数据是怎样的数据(格式,类型)?
2.如何获取数据?
3.分析完需要获取的设计数据库

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值