网络爬虫
文章平均质量分 50
dengwenjieyear
编程、阅读、写作。
展开
-
ImportError: No module named redis
在Python命令行中导入redis模块时,出现了如下报错信息:ImportError: No module named redis解决的办法就是安装这个模块,访问https://github.com/andymccurdy/redis-py 下载安装包后,解压并安装[root@root soft]# unzip redis-py-master.zip -d /usr/local/redis原创 2017-12-08 21:12:34 · 524 阅读 · 0 评论 -
使用FireBug插件辅助采集网页动态加载数据
许多人在遇到网页动态加载数据的时候都习惯于使用selenium webdriver这款自动化测试工具,对接上浏览器驱动可以实现对javascript代码的逆向解析。但这种方式有1个明显的弊端:性能太差。更重要的是,其采集效率的下限很大程度上并不取决于数据采集者,而是取决于网页上有多少javascript代码,如果这些代码很多,那么我们的网络爬虫运行端就需要耗费更多的资源来解析这些javascript原创 2017-12-06 14:40:43 · 1532 阅读 · 0 评论