爬取动态HTML

动态HTML

一、反爬措施

1、通过客户端标识来判断

解决办法：封装user-agent请求头

2、通过请求频率，在后台日志中通过分析请求ip来判断是否是爬虫

解决办法：设置请求频率，针对很难爬取的网站，就慢慢获取数据

3、封IP

解决办法：设置代理，代理池

4、能一次获取的数据绝不分批次获取，能在列表页获取的数据绝不在详情页获取

目的：减小请求次数

5、改变网页数据获取架构

数据不在页面直接渲染，而是通过前端js异步获取

js获取到数据需要：执行js才可以

但是使用requests模块获取到的js代码可以执行吗。—js代码的字符串。

解决的办法：如果能找到一个执行js的工具，数据就出来了

浏览器中之所能够出现数据是因为浏览器就有执行js的功能

同时我们python也有两个工具

• selenium ：驱动–让我们可以通过代码的方式来进行下面两个工具的控制

• phantomjs ：无界面浏览器

• chrome ：有界面浏览器

6、验证码

二、selenium

selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器

• 安装selenium

  pip install selenium==2.48.0

三、PhantomJS

phantom：美 ['fæntəm]，鬼怪，幽灵

PhantomJS 是一个基于 Webkit 的“无界面”(headless)浏览器，它会把网站加载到内存并 执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效

如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫 了，这个爬虫可以处理 JavaScript、cookie、headers，以及任何我们真实用户需要做的事情

注意：PhantomJS 只能从它的官方网站 http://phantomjs.org/download.html)下载。因为

PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库，所以它不需要像Python 的其他库一样安装，但我们可以通过 Selenium 调用 PhantomJS 来直接使用

方法一：设置环境变量：C:\Users\cz\Downloads\phantomjs-2.1.1-windows\bin

打开终端命令行，输入：phantomjs，能够进行到 phantomjs 命令行，则表示安装成功

四、Selenium+PhantomJS操作

Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫

from selenium import webdriver
import time

# 1、先要创建一个浏览器驱动
# driver = webdriver.PhantomJS()
driver = webdriver.Chrome()  # chrome
# driver = webdriver.Firefox()#火狐
# driver = webdriver.Ie()#火狐
# driver = webdriver.Safari()#火狐

# 2、请求url
driver.get('https://www.baidu.com/')
# 3、等待
time.sleep(1)
# 4、这是后driver就是浏览器。这个浏览器里面已经打开了百度的首页
# 先看看页面内容：截图
driver.save_screenshot('index.png')
# 可以获取页面元素（页面的中所有标签都是元素）
# find_element_by_id
# find_element_by_xpath
# find_element_by_css_selector
result = driver.find_element_by_id('kw')
# print(result)#WebElement
# webelement的操作：
# （1）、如果是input：输入
result.send_keys('尹能静')
# 找到按钮：点击
driver.find_element_by_id('su').click()
time.sleep(1)
# （2）找元素的位置
print(result.location)
print(result.size)

# 对于driver对象（浏览器对象）的属性
# （1）获取页面源代码--浏览器功能组件帮我们将js执行后得到页面内容。
print(driver.page_source)
# (2)最大化，关闭浏览器
# 最大化
driver.maximize_window()
# 关闭当前选项卡
driver.close()
driver.quit()  # 退出
# （3）获取cookie值:
driver.get_cookies()

等待的作用：就是为了让程序的速度和浏览器的速度同步

#强制等待：time.sleep()--缺点：不容易控制。
#隐式等待：等到页面全部加载完成
# driver.implicitly_wait(20)#20最大等待时长
#显示等待：检测页面的元素，然我们可以等到【某个页面元素】满足【某些条件为止】。
#某个页面元素：
#某些条件为止
#presence_of_element_located等到元素（一个）加载出来
#presence_of_all_elements_located:等待所有的都加载出来
#定位器：他是一个元组，（By.xpath/id/css_selector,'对应的语法'）
 #1、显示等待的对象 #driver：等待对象监听哪个浏览器
 #20:最大等待时长
 wait = WebDriverWait(driver,5)
 wait.until(EC.presence_of_all_elements_located(
 (By.XPATH, 'xpath语法')))

五、Selenium常用方法总结：

1、获取当前页面的Url

方法：current_url  
实例：driver.current_url

2、获取元素坐标

方法：location
解释：首先查找到你要获取元素的，然后调用location方法
实例：driver.find_element_by_xpath("xpath").location

3、表单的提交

方法：submit
解释:查找到表单（from）直接调用submit即可
实例：driver.find_element_by_id("form1").submit()
```python
4、获取CSS的属性值

方法：value_of_css_property(css_name)
实例：driver.find_element_by_css_selector(“input.btn”).value_of_css_property(“input.btn”)

5、获取元素的属性值
```python
方法：get_attribute(element_name)
实例：driver.find_element_by_id("kw").get_attribute("kw")

6、判断元素是否被选中

方法：is_selected()
实例：driver.find_element_by_id("form1").is_selected()

7、返回元素的大小

方法：size
实例：driver.find_element_by_id("iptPassword").size
返回值：{
   'width': 250, 'height': 30}

8、判断元素是否显示

方法：is_displayed()
实例：driver.find_element_by_id("iptPassword").