![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
网络爬虫
文章平均质量分 54
奔跑的怪兽
这个作者很懒,什么都没留下…
展开
-
Python 3.6 之 Error类的主要功能学习
'''URLError是urllib.error模块的一个类,当使用request产生异常时都可以通过捕获这个类来处理。它具有一个属性reason,返回错误的原因。另外,它还有一个子类是HTTPError,专门处理 HTTP 请求错误。它有如下 3 个属性: 1)code: 返回 HTTP 状态码,比如 404 表示网页不存在, 500 表示服务器内部错误等。 2)reason:同父类一...原创 2018-07-23 23:31:14 · 316 阅读 · 0 评论 -
回调函数的简单python小程序
call.py# 包含了 main() 函数和一个回调函数callback():import calleddef callback(): print("in call.py callback()")def main(): # 将回调函数名作为参数传入调用的函数 called.test_call(callback) main() called.py...原创 2018-08-03 10:39:22 · 309 阅读 · 0 评论 -
Python 3.6 之 requests模块的学习
# requests.get()方法:'''get()向服务器发送一个GET的请求,这里可以理解为向服务器发送了一个包含了各种信息的Request对象,def get(url, params=None, **kwargs),其中重要的参数有:1、url: 具体的URL请求地址;2、params: (可选) 字典或者字节流,通过请求一起传送;3、**kwargs:其他可能需要增加的额外数...原创 2018-07-28 12:44:43 · 1232 阅读 · 0 评论 -
简单比较元组(Set)和列表(List)的查询效率
本试验仅用作简单比较元组(Set)和列表(List)的查询效率: 试验方法:相同元素个数及相同查询元素前提下,比较两个数据结构的查询时间# 计算程序运行时间,粗略比较List和Set的查询效率import time# 首先赋值一个空的List,并且取值为1到10000000的整数l = []for i in range(1,10000000): l.append(i)#...原创 2018-07-31 09:33:22 · 5874 阅读 · 1 评论 -
Python 3.6 之 Handlers和Opener的学习
Handler:解决各种问题的处理器,针对不同的问题有不同的handler,而这些handlers的父类是一个名为'BaseHandler'的类,在urllib.request 模块里OpenerDirector:另一个urllib.request中较重要的类。以下是对OpenerDirector的定义: The OpenerDirector manages a collection of ...原创 2018-07-22 17:12:36 · 841 阅读 · 0 评论 -
Python 3.6 之 Request方法的学习
2.Request的使用源码:def __init__(self, url, data=None, headers={},origin_req_host=None,unverifiable=False,method=None):这里和urlopen比较一下差异:def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEO...原创 2018-07-22 15:28:06 · 8055 阅读 · 0 评论 -
Python 3.6 之 urlopen方法的学习
'''1.urlopen的使用源码:def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT,*, cafile=None, capath=None, cadefault=False, context=None):其中重要参数:url:可以是请求的链接,也可以是请求(Request)的对象;data: 请求中附加...原创 2018-07-22 01:56:45 · 2155 阅读 · 0 评论 -
Python3.6中对爬取网页中的"/XBB"的处理
在爬取百度首页时报错:UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xbb’ in position 28613: illegal multibyte sequence 虽然不影响爬取的内容,但是很好奇地查了一下,是字符编码BOM的锅。BOM(Byte Order Mark),字节顺序标记,出现在文本文件头部,Unico...原创 2018-07-21 21:48:25 · 920 阅读 · 0 评论 -
Visual Studio Code在运行Python程序时自动跳转Terminal的问题及解决方案
最近尝试从Pycharm转到Visual Studio Code进行Python的开发,但在第一次使用中遇到个小问题:在Visual Studio Code中运行Python时,结果总是在Terminal中输出,看起来结果比较杂乱: 而我想看的仅仅是运行结果,而不需要终端中其他信息,换句话说就是程序运行完我第一个想看到的是DEBUG CONSOLO中的结果: 但是多次尝试中发现,V...原创 2018-07-21 19:14:13 · 8426 阅读 · 1 评论 -
python中的__init__、__call__和__delete__特殊函数的浅学
参考博客原址: https://blog.csdn.net/u013550998/article/details/81387949 https://blog.csdn.net/yaokai_assultmaster/article/details/70256621在Python的class中有一些函数往往具有特殊的意义。init()和call()就是class很有用的两类特殊的函数。i...转载 2018-08-03 15:21:29 · 885 阅读 · 0 评论