python爬取金色财经信息

这个爬虫比较简单，不需要用一些常用的数据提取库比如bs4(beautiful)以及lxml库或jsonpath
需要注意的是下拉加载使用的是ajax异步请求局部刷新,返回的直接是json数据,里面拥有所有需要的数据,并且没有加密措施,这样我们直接使用requests库进行爬取就可以了.
需要找到下拉加载刷新的规律,主要就看前一个响应的bottom_id,作为下一个请求的information_id的查询字符串参数.
address

---

#!usr/bin/python
# -*- coding:utf8 -*-
"""
https://api.jinse.com/v6/www/information/list?catelogue_key=tech
"""
import time
import json
import requests


class JinSeSpider(object):

    def __init__(self, page):
        self.base_url = "https://api.jinse.com/v6/www/information/list?catelogue_key=tech"
        self.next_url = "https://api.jinse.com/v6/www/information/list?catelogue_key=tech&limit=23&information_id={}&flag=down&version=9.9.9&_source=www"
        self.headers = {
   
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"
        }
        self.