爬虫-动态网页爬取

动态网页爬取

动态网页是相对于静态网页而言的 在某些网站,使用静态下载
器与解析器对页面进行解析时,如果没有发现任何数据 多数原因是该
网站的部分元素是动态生产的

目前流行两种方法: 
    1. 逆向分析爬取动态网页 手动分析网络面板ajax请求来进行信息采集
    2. 在Chrome浏览器使用Selenium库模拟动态网页动作,直接从浏览器采集加载的数据

逆向爬取动态网页

对动态网页爬取实质是对页面进行逆向分析 核心是跟踪页面的交互行为使JavaScript触发机制
从而分析有用的调用(一般是发送http请求) 然后使用python直接访问逆向到的链接获取价值数据.

如何判断是静态还是动态网页

1.谷歌打开页面
2.打开开发者工具
3.点击元素

获取动态网页内容

import requests
    import json
    
    url = 'https://www.ptpress.com.cn/honor/getHonorListForPortal'
    # 动态网页返回的是json
    res = requests.get(url).text
    print(res)
    # 解析成字典
    data = json.loads(res)
    print(data)
    # 取数据
    news = data['data']
    print(news)
    for i in news:
        picpath = i['picPath']
        honorName = i['honorName']
        print(picpath)
        print(honorName)

使用Selenium库爬取动态网页

目前大多数的web都使用ajax 当页面加载一个页面 页面的元素以不同的时间间隔加载,使得定位元素较为困难
使页面等待可以解决这个问题

对于selenium提供了两种类型的等待 显性和隐性 
显性的等待某条件发生的
隐式等待使webdriver等待是轮询

    # selenium是一个自动化测试工具 可以模拟浏览器行为 可以方便的实现web界面的测试 
    from selenium import webdriver
    
    url = 'https://www.ptpress.com.cn/search/books'
    
    driver = webdriver.Chrome()
    driver.get(url)
    data = driver.page_source
    print(data)

---

从搜索框得到网页 再爬取内容

    from selenium import webdriver
    from selenium.webdriver.common.by import By
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import  expected_conditions as EC
    from bs4 import BeautifulSoup
    import time
    import pymysql
    
    url = 'https://www.ptpress.com.cn/search/books'
    
    # 创建脚本
    driver = webdriver.Chrome()
    # 创建等待
    wait = WebDriverWait(driver,10)
    # 获得网站内容
    driver.get(url)
    # 查找搜索框
    search_btn = driver.find_element(By.ID,"searchVal")
    # 在搜索框发送python编程
    search_btn.send_keys('python编程')
    
    # 等待出现确认按钮
    confirm_btn = wait.until(
        EC.element_to_be_clickable((By.CSS_SELECTOR,'#app > div:nth-child(1)>div>div>div>button>i'))
    )
    # 点击确认按钮
    confirm_btn.click()
    
    time.sleep(5)
    # 拿到页面内容
    html = driver.page_source
    soup = BeautifulSoup(html,'lxml')
    # 找到图片标签
    # print(soup.prettify())
    t = soup.find_all(class_='book_item')
    print(t)
    
    conn = pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='kunye666',db='spider',charset='utf8')
    # 创建游标
    cursor = conn.cursor()
    
    
    for i in t:
        # 拿到i下面的 一些标签 链式选择
        print(i.img.get('src'))
        print(i.p.string)
        sql = 'insert into books(name,img) values(%s,%s)'
        cursor.execute(sql,(i.p.string,i.img.get('src')))
        conn.commit()
    
    # 读取数据
    cursor.execute('select * from books')
    # 获得查询结果
    data = cursor.fetchmany(100)
    print(data)
    conn.close()