![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
子夜微凉
生命之精彩在乎平日之间
展开
-
Scrapy通过selenium 解析js网页代码
在学习scrapy技术的时候遇到了一个难点就是解析js网页,因为scrapy本身并不具备解析js的功能,网上的介绍有一些是介绍使用scrapy-spasch来进行解析的,但是scrapy-spasch的安装需要docker,docker安装到电脑上并且还要开启虚拟化,比较麻烦,就想着一种别的方式来替代,今天分享一种方法来解析js。使用到的工具是selenium,通过调用火狐浏览器插件的方式来进行解...原创 2018-03-22 11:10:04 · 1425 阅读 · 0 评论 -
Lxml 解析网页用法笔记
用python的urllib2库实现的获取到网页数据之后,使用lxml对获取的网页进行数据抓取。1.导入包 from lxml import etree2.page = etree.HTML(html) 或者 page = etree.HTML(html.decode('utf-8'))3.对Element对象(page)使用xpath筛选,返回一个列表(里面的元素也是Element)举例:<...原创 2018-04-16 17:27:32 · 2033 阅读 · 0 评论