前言
NGA论坛刚刚开放了用户IP显示功能,早就想查查泥潭精英充分的我连夜花费数个小时写了个IP爬虫出来,看看都是哪些人在泥潭大漩涡板块活跃
爬虫
包与headers
首先是配置headers:
import requests as req
from lxml import etree
import numpy as np
import time
import re
headers = {
# 在浏览器中,network查看
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.62',
'Cookie': '',
'Connection':'close',
}
# API文档参考 https://github.com/wolfcon/NGA-API-Documents
版面页
然后是从网事杂谈板块前几页的爬取到各个帖子的链接(API接口参数可查看文档)
F12查找到对应元素(不准确,需要自行修改)方便抓取链接。
urls = [] # 保存页面uid
limit = 5 # 版面页数,请勿设置过多
for i in range(1,limit+1): # 获取近期网事杂谈板块回复前limit页中的帖子地址
time.sleep(1)
mainPage = req.get('https://bbs.nga.cn/thread.php?fid=-7&order_by=lastpostdesc&page='+str(i),headers=headers,verify=False)
doc = etree.HTML(mainPage