![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
SmoMark
这个作者很懒,什么都没留下…
展开
-
Python爬虫——urllib的使用
Python爬虫——urllib的使用本文使用的版本为Python3,使用的IDE为Pycharm爬取百度首页# 导入模块from urllib import request# 伪装成浏览器headers=("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ...原创 2018-07-28 23:41:17 · 350 阅读 · 0 评论 -
Python爬虫——Get请求示例
Python爬虫——Get请求示例本文使用的版本为Python3,使用的IDE为Pycharm模仿百度搜索from urllib import request# 伪装成浏览器headers = ("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Ge...原创 2018-07-29 16:24:40 · 440 阅读 · 0 评论 -
Python爬虫——Post请求示例
Python爬虫——Post请求示例本文使用的版本为Python3,使用的IDE为Pycharm点击此处访问 测试链接右键测试链接,查看源代码,发现两个字段分别为:name, pass示例代码:# urllib Post Demo# 测试链接:http://www.iqianyue.com/mypost/# 导入模块from urllib import request,...原创 2018-07-29 16:39:50 · 2849 阅读 · 0 评论 -
Python爬虫——使用代理IP
Python爬虫——使用代理IP本文使用的版本为Python3,使用的IDE为Pycharm使用代理IP爬取百度首页首先需要获取代理IP地址,可以从该 网站 获取,同时选择验证时间尽量短的示例代码如下:# 使用代理IP爬取百度首页# 定义使用代理IP函数def use_proxy(proxy_addr, url): from urllib import req...原创 2018-07-29 19:57:12 · 1871 阅读 · 0 评论 -
Python爬虫——使用Cookie
Python爬虫——使用Cookie本文使用的版本为Python3,使用的IDE为Pycharm示例代码如下:# 使用Cookie Demo# 导入模块from urllib import request, parse, errorfrom http import cookiejar# 此处为某网站登陆URLurl1 = ""# 填充数据postdata = pa...原创 2018-07-29 21:49:59 · 434 阅读 · 0 评论 -
Python爬虫——爬取京东手机图片实战
Python爬虫——爬取京东手机图片实战本文使用的版本为Python3,使用的IDE为Pycharm请先在对应位置建立好文件夹(本示例为D:\JingDong\)示例代码如下:# 爬取京东手机图片import refrom urllib import requestdef craw(url, page): # 获取数据 html1 = request....原创 2018-07-29 22:03:17 · 1098 阅读 · 0 评论 -
Python多线程
Python多线程本文使用的版本为Python3,使用的IDE为Pycharm导入threading创建类继承自threading.Thread重写run()方法示例代码:# 多线程Demo# 导入模块import threadingclass A(threading.Thread): def __init__(self): threadi...原创 2018-07-29 22:30:18 · 114 阅读 · 0 评论 -
Python爬虫——开启日志
Python爬虫——开启日志本文使用的版本为Python3,使用的IDE为Pycharm示例代码# 开启DebugLoggerfrom urllib import requesthttphd = request.HTTPHandler(debuglevel=1)httpshd = request.HTTPHandler(debuglevel=1)opener = req...原创 2018-07-30 15:29:20 · 1202 阅读 · 1 评论 -
Python爬虫——Scrapy中使用IP池和用户代理池
Python爬虫——Scrapy中使用IP池和用户代理池本文使用的版本为Python3settings.py中配置IP池和用户代理池# IP池设置IPPOOL = [ {"ipaddr": "101.236.21.22:8866"}, {"ipaddr": "101.126.18.101:8866"}, {"ipaddr": "118.31.220.3.原创 2018-07-31 17:00:38 · 11927 阅读 · 2 评论