python
jiangyou1023
吃饭碎觉,打阳阳
展开
-
python 爬取安智数据存入Excel中
需求:爬安智上苏宁金融所有发布过的APK信息思路:1、通过chrome抓到安智有一个获取历史版本的接口 2、通过接口用get请求获取数据,解析数据 3、创建excel表个存储 4、循环2-3操作完整代码如下:import requestsimport reimport jsonimport numpy as...原创 2019-09-17 10:55:23 · 370 阅读 · 0 评论 -
python 将爬取的数据存入mysql
需求:将爬到的数据存入mysql思路:1、从文件中读取数据 2、将数据存入到mysql中完整代码如下import pymysqlfrom os import path import timedef readFile(filePath): fileStr = open(filePath,encoding='utf-8') dataArray = li...原创 2019-09-18 20:18:36 · 3784 阅读 · 1 评论 -
python 多线程爬取数据
需求:爬取全国各地区邮政编码和区号思路:1、从一级页面获取全国所有的省 2、开线程对各个省的数据分别爬取和解析同时保存到文件中代码:import reimport requestsimport hashlibimport urllibimport time import osfrom os import path from concurrent....原创 2019-09-20 14:10:23 · 1491 阅读 · 0 评论