爬虫
爬虫练习和笔记整理
cholas_
这个作者很懒,什么都没留下…
展开
-
5-js反爬有道翻译
1.重要过程2.完整代码 1.重要过程 2.完整代码 import requests as req import time import random import hashlib class YDSpider(): """有道翻译""" def crawl(self, src_text): # 翻译的ajax接口 url = "https://fanyi.youdao.com/translate_o?smartresult=dict&s.原创 2021-07-05 00:08:57 · 121 阅读 · 0 评论 -
3-referer爬取上交证券数据
3-referer爬取上交证券数据1.一些主要分析过程2.完整代码 1.一些主要分析过程 查找内容,发现位于js响应中 可以使用工具查看js response内容 从header获取动态网页的请求来源 2.完整代码 import requests as req import re import csv import pymysql from lxml import etree import json class SSESpider(object): """爬取上交所证券数据""" d原创 2021-07-04 21:21:52 · 307 阅读 · 0 评论