- 博客(3)
- 收藏
- 关注
RSS订阅原创 scrapy代理IP
在middlewares.py中设置： class ProxyMiddleware(object):logger = logging.getLogger(__name__)def process_request(self, request, spider): self.logger.debug('Trying using proxy') request.meta['pro...
2018-09-10 18:44:47
1574
1
转载 selenium用法详解
selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。 模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候一、声明浏览器对象 注意点一，Python文件名或者包名不要命名为selenium，会导致无法导入 from selenium import webdriverwebdriver可以认为是浏览器的驱...
2018-09-05 17:06:29
139
转载 如何使用Headless Chrome
如何使用Headless Chrome Headless模式是Chrome 59中的新特征。 要使用Chrome需要安装chromedriver。from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionschrome_options = Options()chrome_o...
2018-08-27 15:01:59
1010
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人