- 博客(4)
- 收藏
- 关注
原创 windows下用pip安装确实会出现这个问题.
windows下用pip安装确实会出现这个问题,是缺包导致的。建议直接从官网下载源码包进行安装,一样简单。解压后,用命令行进入该文件目录,依次执行:>python setup.py build>python setup.py install即可。再用pip list查看.
2017-10-14 15:02:48
921
转载 Python Scrapy抓取动态网页
最近在写一个爬去亚马逊商品网站的爬虫,在此记录过程中的一些问题.Scrapy框架不能直接爬去JS生成的动态网页,需要调用一些外来的库的方法来实现。动态网页: 1.交互表单。 2.JS/AJAX。 3.关键字。首先对不同的方法做一个总结: 1.逆工程(工程复杂)。 2.浏览器渲染引擎触发JS事件。 -WebKit -Sele
2017-04-11 17:06:12
802
原创 关于Webkit的JS数据抓取(记录)
WIN7环境下需要使用Webkit库类,开始使用的PyQt5,但是PyQt5里没有QApplication类,然后使用教程当中的PyQt4,但是配置起来相当的麻烦·需要SIP-之类的,而且现在不提供安装包的形式,最后选择PySide解决。
2017-04-11 17:04:46
732
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人