爬虫逆向(js逆向)

异步爬虫的实现方式

- 线程池
- 多任务的异步协程
- 多线程(生产者消费者模型)

线程池

前提
from flask import Flask,render_template
from time import sleep
app = Flask(__name__)

@app.route('/bobo')
def index1():
    sleep(2)
    return render_template('test.html')

@app.route('/jay')
def index2():
    sleep(2)
    return render_template('test.html')

@app.route('/tom')
def index3():
    sleep(2)
    return render_template('test.html')

if __name__ == '__main__':
    app.run(threaded=True)  #实现线程必须加这个



爬取
from multiprocessing.dummy import Pool
from lxml import etree
import time
import requests

start = time.time()
urls = [
    'http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/tom',
]
开启线程数，实例化一个对象
pool = Pool(3)

#定义回调函数:必须要有一个参数,参数就是列表中的某一个列表元素
def get_request(url):
    page_text = requests.get(url).text
    return page_text
    
#调用map方法，第一个参数是自定义回调函数，第二个是可迭代对象 。回调函数会异步的处理(自定义)列表中的每一个列表元素，然后将返回值传给map，最后返回
page_text_list = pool.map(get_request,urls)

#异步的解析数据
def parse(page_text):
    tree = etree.HTML(page_text)
    data = tree.xpath('//a[@id="feng"]/text()')[0]
    print(data)
pool.map(parse,page_text_list)

print('总耗时:',time.time()-start)

多任务的异步协程asyncio

- 特殊的函数
    - 如果一个函数的定义被async关键字修饰,则该函数就是一个特殊的函数.
    - 特殊之处:
        - 1.特殊函数调用后,函数内部的程序语句没有被立即执行
        - 2.特殊函数调用后会返回个协程对象.
- 协程
    - 对象.可以调用特殊函数返回一个协程对象.
    - 协程 == 特殊的函数 == 一组指定形式的操作
    - 协程 == 一组指定形式的操作
- 任务
    - 对象.任务对象其实就是一个高级的协程对象.
    - 任务对象的获取:
    - 任务对象 == 协程 == 一组指定形式的操作
    - 任务 == 一组指定形式的操作
    - 特殊的机制:
        - 任务对象可以绑定一个回调函数，目的就是为了打印出特殊函数里面的return值
- 事件循环(核心)
    - 对象获取
        -通过实例化asyncio.get_event_loop()
    - 事件循环你可以暂且把它当做是一个载体或者容器.
    - 将协程或者任务对象装载在事件循环这个容器中
        - run_until_complete
    - 开启事件循环:
        - run_until_complete
- wait()
    - 用来对tasks这个任务列表进行指定操作.
    - wait可以将tasks任务列表中的每一个任务对象依次赋予可挂起的权限
    - 挂起:可以让当前被执行的任务对象交出cpu的使用权.
    - 当任务列表给wait方法修饰处理后,依然没有出现异步的效果,why?
        - 在特殊函数内部的实现语句中不可以出现不支持异步模块的代码,否则会中断整个异步效果.比如time模块，可以替代time模块的有asyncio
        
- await
    - 可以确保在异步的过程中让阻塞操作可以执行完毕


支持异步的网络请求模块aiohttp来替代requests模块
    - 环境安装:pip install aiohttp
    - 代码实现:
        - 第一步:编写特殊函数基本架构
            async def get_request(url):
                with aiohttp.ClientSession() as sess:
                    with sess.get(url) as response:
                        page_text = response.text()
                    return page_text
        - 补充细节:
            - 在每一个with前加上async关键字
            - 在每一步