python爬虫笔记

rt有时候网站会反爬，这时候就需要代理（池子）了

1.requests本身就是是支持代理的

proxies即为代理

2.可以手动设置超时及重试等策略

如题，设置重试次数为10次，可避免代理失效导致的问题

import requests
from requests.adapters import HTTPAdapter

s = requests.Session()
s.mount('http://', HTTPAdapter(max_retries=10))
s.mount('https://', HTTPAdapter(max_retries=10))

s.get('http://example.com', timeout=1)

3.python有伪造ua的库

from fake_useragent import UserAgent

        ua=UserAgent()
        headers={
            'User-Agent': ua.chrome
        };
        data = requests.get('https://www.xxxxx/search/'+quote(companyName, 'utf-8'),headers=headers)

4.python使用execjs库可以执行js代码

有时候参数是需要调用加密算法的，有的算法模拟起来比较麻烦或者根本就加密了混淆了看不到，可以使用execjs来执行js，直接调用他的加密算法，注：需要先安装nodejs

sudo apt install nodejs

 这里是加载js文件，第五行call的参数即为想要调用的js中的函数名，函数参数，返回值就是result，我这里进行了一下url编码

import execjs

#本地加载js函数执行获取token...
def getTokenFromJS(companyName):
    with open('./generatetoken.js', 'r', encoding='utf-8') as f:
        jstext = f.read()
    pyJS = execjs.compile(jstext)
    result = pyJS.call('generateWordKey', companyName)
    return unquote(result, 'utf-8')