爬虫如何监听插件_爬虫监控 - 晨星_star - 博客园

最新推荐文章于 2024-08-06 17:57:16 发布

笑出僧

最新推荐文章于 2024-08-06 17:57:16 发布

阅读量309

点赞数

文章标签：爬虫如何监听插件

本文链接：https://blog.csdn.net/weixin_33783283/article/details/112945649

版权

本文介绍了如何使用Python爬虫监听并监控特定网站的数据，通过`requests`、`pymongo`等库抓取并存储数据到MongoDB，同时提供了一个简单的监控脚本，实时查看数据库中记录的数量。

摘要由CSDN通过智能技术生成

数据监控：

import requests

import urllib

import time

import pymongo

# 必须写在外面，否则无法导入

client=pymongo.MongoClient('localhost',27017)

book_qunar=client['qunar']

sheet_qunar_zyx=book_qunar['qunar_zyx']

# 解析数据

def get_list(dep,item):

url = 'https://touch.dujia.qunar.com/list?modules=list,bookingInfo&dep={}&query={}&mtype=all&ddt=false&mobFunction=%E6%89%A9%E5%B1%95%E8%87%AA%E7%94%B1%E8%A1%8C&cfrom=zyx&it=FreetripTouchin&et=FreetripTouch&date=&configDepNew=&needNoResult=true&originalquery={}&limit=0,20&includeAD=true&qsact=search'.format(

urllib.request.quote(dep), urllib.request.quote(item), urllib.request.quote(item))

strhtml = get_json(url)

try: