- 博客(3)
- 收藏
- 关注
原创 Python练手爬虫系列No.2 抓取知乎问题下所有回答中的图片(待续)
接着上一篇Python练手爬虫系列No.1 知乎福利收藏夹图片批量下载,今天我们来按照知乎问题抓图片!比起收藏夹,更加直接精准。为什么先抓收藏夹后抓取问题呢,其实是因为知乎的一点限制。 那就是!知乎问题下方的回答是通过动态加载的……普通的静态网站抓取的办法是没办法获取到所有的数据的。 那么怎么处理呢?我们一起试试。网页数据分析 这个时候跟我做打开Firefox浏览器,按F12,进入网络模式下,
2017-03-29 00:07:55 1999
原创 selenium又一小坑 无法用XPATH直接获取属性值 需要使用.get_attribute(“href”)
在使用selenium进行抓取url的时候,试图使用find_elements_by_xpath来获取。 因此想当然的直接使用XPATH的语法进行获取属性 事例缩略后xml结构如下<div class="qg-limit-list" data-spm="1998564503" data-spm-max-idx><a href="//item.taobao.com/item.htm?spm=a
2017-03-23 22:48:51 30310 9
原创 Selenium配合chromedriver提示“Message: 'chromedriver' executable needs to be in PATH.Please see ...”
作为第一篇blog确实有点小儿科了,拖很久没开始写,为了开始写技术博客,先赶紧记录一个刚刚的麻烦事吧。 最近用Selenium配合爬虫抓取淘抢购数据,结果刚写一段代码就开始报错。from selenium import webdriverbrowser = webdriver.Chrome()browser.get('https://qiang.taobao.com/')Traceback (
2017-03-23 16:59:32 39268 26
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人