python selenium爬虫效率,python爬虫中requests和selenium的比较

在教小伙伴们获取数据的时候，小伙伴们会发现小编对于requests的介绍比较多，而selenium只是简单地介绍了一下。有的小伙伴学习的积极性比较高，看到selenium后就想要深入的了解如何去使用。这里小编把requests和selenium进行一个比较，相信大家看完后就知道为什么小编着重于教大家使用requests了。

requests代码：#!/usr/bin/env python

# -*- coding: utf-8 -*-

import requests

r = requests.get('https://api.github.com', auth=('user', 'pass'))

print r.status_code

print r.headers['content-type']

requests代码部分简单易懂。

selenium它是用于自动化Web应用程序的测试目的，但肯定不仅限于此。

对于一般网站来说scrapy、requests、beautifulsoup等都可以爬取，但是有些信息需要执行js才能显现，而且你肉眼所能看到的基本都能爬取下来，在学习中遇到了，就记录下来方便以后查看。

webdrive是selenium中一个函数：from selenium import webdriver

driver = webdriver.Chro