Crawl
文章平均质量分 60
TravelingLight77
仰望星空,脚踏实地。
展开
-
paramiko安装报错ImportError: No module named cryptography.hazmat.backends
命令行安装cryptography即可:pip install cryptography若遇到SSLError: (‘The read operation timed out’,)等问题,重新执行上面的命令语句即可。若出现Requirement already satisfied (use --upgrade to upgrade): cryptography in c:\python27\lib\site-packages问题,则执行如下语句即可:pip install cryptography转载 2021-04-03 16:52:44 · 1340 阅读 · 0 评论 -
Win10 安装配置Android sdk及adb环境变量
今天在新买的win10系统笔记本上安装配置adb,开始觉得挺简单的事,公司win7电脑上有现成的,但实际过程中……没想的那么简单了!好了,废话少说,直接正题。 研究了好一会下,总算搞定,总结如下: 1.下载Android SDK 地址:http://tools.android-studio.org/index.php/sdk 直接下载推荐了吧!下载目录自定(废话) 2.安装...转载 2021-03-21 09:53:03 · 778 阅读 · 0 评论 -
关于Fiddler一直提示‘The system proxy was changed,click to reenable fiddler capture’的解决办法
fiddler安装后一直使用得好好的,然后最近几天发现只要一打开fiddler它就会显示如下图所示: 如果我们点击出现黄色弹框提示,弹框提示会自动消失,但是过一会还是会出现,看着很烦。所以我上网查询相关资料并一一排查,最终找到以下几个原因: 1、电脑上安装了银联控件,我的就是安装了(PSBCInput.exe)导致的 直接去卸载掉,然后重启fiddler就可以了!记住一定要卸载干净,注册表也要删掉,不然会fiddler...转载 2021-03-19 21:41:47 · 10877 阅读 · 3 评论 -
scrapy 爬取顺序每次都不一样
##问题:爬取内容时输出的字典顺序每次运行时都不一样 ###scrapy官方文档: Scrapy at a glance, 文档原文说道: 异步处理请求,也就是说Scrapy发送请求之后,不会等待这个请求的响应(也就是不会阻塞),而是可以同时发送其他请求或者做别的事情。而我们知道服务器对于请求的响应是由很多方面的因素影响的,如猫之良品所说的网络速度、解析速度、资源抢占等等,其响应的顺序是难以预测的。 Scrapy异...转载 2021-03-11 21:22:57 · 1282 阅读 · 0 评论 -
爬虫简介
爬虫简介 爬虫的实际例子: 搜索引擎(百度、谷歌、360搜索等)。伯乐在线。惠惠购物助手。数据分析与研究(数据冰山知乎专栏)。抢票软件等。 什么是网络爬虫: 通俗理解:爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来,然后使用一定的规则提取有价值的数据。专业介绍:百度百科。 通用爬虫和聚焦爬虫: 通用爬虫:通用爬虫是搜索引擎抓取系统(百度、谷歌、搜狗等)的重要组成部分。主要是将互联网上的网页...转载 2021-03-11 17:12:29 · 238 阅读 · 0 评论 -
爬虫之Xpath详解
XPath介绍XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素,并且 XQuery 和 XPointer 都构建于 XPath 表达之上。因此,对 XPath 的理解是很多高级 XML 应用的基础。 &nbs...转载 2021-01-16 15:48:17 · 896 阅读 · 0 评论 -
Requests基本用法和Response的返回值总结
一、Requests库的2个重要对象:Response(包含爬虫返回的内容)和RequestResponse对象的属性r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败r.text HTTP响应内容的字符串形式,即url对应的页面内容r.encoding 从HTTP header中猜测的响应内容编码方式(r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)r.content HTTP响应内容的二进制形式get方法获取网上资转载 2020-11-08 22:18:46 · 7380 阅读 · 0 评论 -
区别 |Python的 open() 和with open() as(**)
转载 2020-10-16 22:28:51 · 165 阅读 · 0 评论 -
requests库中的get()和post()方法(***)
(一)get()方法查看源码,如下: 1 def get(self, url, params, **kwargs): 2 r"""Sends a GET request. 3 4 :param url: URL for the new :class:`Request` object. 5 :param params: (optional) Dictionary, list of tuples or bytes to send 6 in t...转载 2020-10-16 22:14:32 · 540 阅读 · 0 评论 -
爬虫——requests基本请求,get和post
get请求 response=requests.get(url=url,params=params,headers=headers)1 不带参数: response 对象其他重要属性 import requestsurl=‘https://www.sogou.com/’response=requests.get(url=url)#二进制(byte)类型的页面数据print(response.cont...转载 2020-10-16 22:07:34 · 1527 阅读 · 0 评论