![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
big-mingming
这个作者很懒,什么都没留下…
展开
-
爬取图片时遇到中文url
python版本:3.6.5pycharm版本:2018.3我经常在爬取图片时遇到太有中文的url,有一个非常简单的方法解决。1:第一步先导入两个包一个正则re,另一个则是爬虫辅助用的包(个人认为)2:urllib.parse包quote是编码,encoding参数可带编码格式,如果不加,默认是当前环境的编码格式,返回结果是把后面的中文“已缩减”变成编码的格式,因为编码也会把":...原创 2019-02-28 14:58:35 · 305 阅读 · 0 评论 -
爬取网页信息遇到空值的小技巧
python版本:3.6pycharm版本:2018.3爬取网页:https://bj.fang.lianjia.com/loupan只需加入一段简单的变量判断就可以解决xxx = “你所取的变量”xxx = xxx if xxx else “”#添加判断:当这个变量不为空则打印出来,为空则打印空值...原创 2019-02-26 21:32:11 · 7840 阅读 · 10 评论 -
爬虫xpath工具
python版本:3.6.7pycharm版本:2018.3爬取网页时有很多中办法筛选你所需要的数据,xpath是其中一种,下面我便讲一讲xpath的简单应用。1:先导入一个包2:准备所需要的筛选的数据,先转换为xpath对象3:开始筛选xpath()里面添加筛选的值,可以层层筛选,这里打印出来的是一个列表,列表里面的元素数量对映所查询出来的li标签的数量,元素数量=li标签数量...原创 2019-02-26 22:31:59 · 262 阅读 · 0 评论