爬虫
文章平均质量分 81
李耳王
这个作者很懒,什么都没留下…
展开
-
Python爬取网站数据并生成Excel
# -*- coding: utf-8 -*-import osimport reimport sysimport sslimport jsonimport timeimport xlwtimport urllibimport urllib2import shutilfrom pyExcelerator import *# 取消证书验证context = ssl._...原创 2018-10-31 16:12:13 · 10778 阅读 · 2 评论 -
Python爬取用户头像及昵称
# -*- coding: utf-8 -*-import osimport reimport sysimport sslimport urllibimport urllib2import shutilfrom pyExcelerator import *# 取消证书验证context = ssl._create_unverified_context()# 爬虫基础地址...原创 2018-10-31 16:15:27 · 4109 阅读 · 2 评论 -
Python爬取网站图片的2种常见处理
分析网站数据接口,获取图片地址并下载# -*- coding: utf-8 -*-import osimport reimport sysimport sslimport xlwtimport timeimport _threadimport requestsimport pymysqlimport threading# 自定义线程class myThread(thr...原创 2019-07-05 10:07:46 · 2171 阅读 · 0 评论 -
Python连接数据库并查询所需数据的实践
# -*- coding: utf-8 -*-import osimport requestsimport pymysqlimport _thread#import threading# 自定义下载目录path = 'F:/Reptilian/ysj/'# 线程锁#lock = threading.Lock()# 线程树threadNum = 50# 请求头定义...原创 2019-07-05 09:57:25 · 1210 阅读 · 0 评论