油猴天眼查公司链接获取（用油猴实现爬虫python版）

使用方法

1.先书写油猴脚本

// ==UserScript==
// @name         天眼查获取公司列表
// @namespace    http://tampermonkey.net/
// @version      1.1
// @description  try to take over the world!
// @author       You
// @match        https://www.tianyancha.com/search*
// @require      http://cdn.bootcss.com/jquery/1.11.2/jquery.js
// @grant        GM_xmlhttpRequest
// ==/UserScript==

(function() {
    'use strict';
    # 发送的网址
    var monkey_url = 'http://127.0.0.1:8883/ajaxHook';
    var url_list = [];
    # 获取数据列表
    function getdataList(){

        // 获取列表每个公司
        var company_list = $('.result-list.sv-search-container').find('.search-item.sv-search-company');
        // 输出查看
        console.log(company_list);
        // dataList为存储数据的列表
        var dataList = [];
        // 做for循环获取公司链接及名称
        for(var i=0;i<company_list.length;i++){
            var company_link = $(company_list[i]).find('.name.select-none').attr('href');
            var company_name = $(company_list[i]).find('.name.select-none')[0].text;
            dataList.push({
                'company_link': company_link,
                'company_name':company_name,
            })
            console.log(company_link);
        }
        console.log(dataList);
        return dataList;
        //return [link_list[0]];
    }

    # 调用获取数据函数
    url_list = getdataList();
    # 发送数据到monkey_url
    GM_xmlhttpRequest({
        method: "POST",
        url: monkey_url,
        data : JSON.stringify({'name':"爬虫",'address':url_list}),
        onload: function(response) {
            //这里写处理函数
            console.log(response);
            console.log(url_list);
            //window.close();
        }
    });



    // Your code here...
})();

2.在pycharm书写接收monkey_url发送的请求

from flask_cors import CORS
from flask import Flask, request
from redis import StrictRedis

app = Flask(__name__)
redisCli = StrictRedis(
    host='127.0.0.1',
    port=6379,
    db=0
)


@app.route('/')
def index():
    return "<h1>天眼查</h1>"

@app.route('/ajaxHook', methods=['POST'])
def ajaxHook():
    if request.method == 'POST':
        form_data = request.get_data()

        redisCli.rpush('listPage', form_data)  # 推到redis列表页
        print(form_data)
    return form_data


if __name__ == '__main__':
    CORS(app, supports_credentials=True)  # 允许跨域
    app.run(host='127.0.0.1', port=8883, debug=True)

实现效果如下

有不懂的欢迎和博主交流