![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
月下王国
我是一只菜鸟希望大家多多指教
展开
-
欢迎使用CSDN-markdown编辑器
用于python脚本语言版本更新过快,在python3中sys模块已经需要另外引用。import importlibimportlib reload(sys)在Python3中默认的编码Unicode,所以已经没有sys.setdefaultencoding这个功能了,直接运行程序就好原创 2017-09-13 21:55:02 · 179 阅读 · 0 评论 -
python3 语法
在Python3开始普及后,2和3语法分不同导致初学者会懊恼,如下: 1.在Python2中调用urllib2这个模块就可以用里面的库 import urllib2 url=urllib2.urlopen2.在Python3中 import urllib.request import urllib.error url=urllib.request.urlopen可以原创 2017-09-15 21:25:32 · 205 阅读 · 0 评论 -
__name__ == '__main__'
相信很多Python小白会遇到下面这样一句代码 __name__ == '__main__' 是什么意思呢? 有句话概括了这句代码的含义: Make a script both importable and executable 意思就是让你写的脚本模块既可以导入到别的模块中用,另外该模块自己也可执行。这个模块可以用来测试代原创 2017-09-15 23:11:17 · 202 阅读 · 0 评论 -
python Beautifulsoup运用
python3中的Beautifulsoup模块是负责用来解析HTML的,相似的还有lxml html解析器,但是这个需要安装C语言库,所以一般用Beautifulsoup来解析HTML。 1.创建Beautiful Soup对象 首先先导入bs4库from bs4 import BeautifulSoup然后创建一些字符串,里面类似于HTML文档:HTML= """<html><head><原创 2017-09-27 16:44:03 · 1001 阅读 · 0 评论 -
python3 报错
在编写data表单发送数据时:POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.解决方法是:在data = urllib.parse.urlencode(values)后面加上.encode(encoding='utf-8)变成data = urllib.parse原创 2017-09-28 16:40:54 · 553 阅读 · 0 评论 -
python 模拟登陆并打开网页下载
import requestsimport jsonimport timeimport http.cookiejarimport urlliblogin_url='https://www.zhihu.com/login/phone_num'header={ 'User-Agent': 'Referer': 'Coo原创 2017-11-16 18:05:46 · 4805 阅读 · 0 评论 -
Python :assert断言使用
本来先写selenium自动化测试的,写到一半发现要先了解assert断言的用法,所以博客的顺序会有点问题。 assert断言是声明其布尔值必须为真的判定,如果发生异常就说明表达示为假。可以理解assert断言语句为raise-if-not,用来测试表示式,其返回值为假,就会触发异常。如何为assert断言语句添加异常参数 assert的异常参数,其实就是在断言表达式后添加字符串信息,用来解释断原创 2017-11-16 18:27:52 · 2462 阅读 · 0 评论 -
python selenium模块学习
python的自动化模块–selenium 我用的是Google 的浏览器Chrome,当然首先你得安装好seleniumpip install selenium安装之后还需要安装Chrome的驱动:http://chromedriver.storage.googleapis.com/index.html?path=2.30/ 安装在chrome的目录下面,同时记得设置环境变量,添加chrome原创 2017-11-16 18:14:17 · 891 阅读 · 0 评论