![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 59
say_haha
菜鸟
展开
-
Python2中的urllib、urllib2与Python3中的urllib以及第三方模块requests
python2中,urllib和urllib2都是接受URL请求的相关模块,但是提供了不同的功能。两个最显著的不同如下:urllib2.urlopen accepts an instance of the Requestclass or a url, whereas urllib.urlopen only accepts a url 1、urllib2可以接受一个Reque原创 2017-05-26 11:25:57 · 7778 阅读 · 0 评论 -
Python 列表内字符编码问题,encode和decode
在学习python爬虫时遇到个小问题,记录一下:列表内的元素用循环单个输出的话,是正常的中文显示,而用 append 方法添加到集合再直接输出集合的时候,显示的是下面的Unicode编码格式。import urllib2import randomfrom bs4 import BeautifulSouphds=[{'User-Agent':'Mozilla/5.0 (Macintos原创 2017-05-25 10:53:47 · 9963 阅读 · 1 评论 -
Python2 设置系统默认编码
python2.x默认的编码是ascii,默认的defaultcoding:ascii是许多错误的原因,当程序中出现非ascii编码时,python的处理常常会报这样的错UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128),python没办法处理非asc原创 2017-05-24 10:13:16 · 13997 阅读 · 1 评论 -
Python 爬虫尽量不被发现策略
1. 不要用一个IP狂爬所以要准备一堆可用的代理IP,如果公司有额外的比较闲的IP最好了,闲着也是闲着,在不影响正常业务的提前下,多换IP。否则就要想办法获取免费代理。2.勤换UA很多人喜欢在配置中列一些UA, 其实吧,可以使用fake-useragent。其实我也推荐大家伪装成各大搜索网站的UA,比如Google UA 有这样一些Google抓取工具,说到这里,有的网站,你添原创 2017-05-26 15:57:49 · 5017 阅读 · 0 评论 -
Python 爬虫学习笔记
网页下载方法:1、2.3.网页解析器 beautifulsoup原创 2017-07-10 11:05:28 · 249 阅读 · 0 评论 -
python2和python3 共存时 pip安装问题
使用pip当Python2和Python3同时存在于windows上时,它们对应的pip都叫pip.exe,所以不能够直接使用 pip install 命令来安装软件包。而是要使用启动器py.exe来指定pip的版本。命令如下:py -2 -m pip install XXXX-2 还是表示使用 Python2,-m pip 表示运行 pip 模块,也就是运行pip原创 2017-07-10 11:51:42 · 323 阅读 · 0 评论