python爬虫
言希0127
这个作者很懒,什么都没留下…
展开
-
selenium安装问题 出现错误 message:connection refused
环境为ubuntu,浏览器为firefox。在python上运行,总是出现打开浏览器页面,然而打不开目标网页。在python下显示错误为:message:connection refused。各种百度然而没用解决。最后发现是geckodriver版本高,19.0以后的需要firefox的版本为55以上。于是更新firefox为最新版59。问题解决。firefox更新在ubuntu 上命令:sudo...原创 2018-05-08 20:48:23 · 3414 阅读 · 0 评论 -
爬虫 利用正则表达式爬取猫眼电影
# coding=utf-8import requestsimport reimport jsonfrom io import open#from multiprocessing import Poolfrom requests.exceptions import RequestExceptionheaders = {'User-Agent':'Mozilla/5.0 '}def ...原创 2018-04-20 22:35:49 · 340 阅读 · 0 评论 -
python 爬虫入门 爬取京东商品图片并保存
# coding=utf-8import urllib2from bs4 import BeautifulSoupimport reimport requestsimport urllib'''<li class="gl-item" data-sku="1026202803" data-spu="1026202802" data-pid="1026202802"> &...原创 2018-04-20 22:28:35 · 4175 阅读 · 3 评论 -
python爬虫 利用Beautifuloup爬取豆瓣影评
#coding=utf-8from bs4 import BeautifulSoupimport reimport urllib2import xlwtimport sysreload(sys)sys.setdefaultencoding('utf-8')#得到页面全部内容def askURL(url): request = urllib2.Request(url)#发...原创 2018-05-04 19:50:11 · 986 阅读 · 0 评论