Python爬取NGA帖子

最新推荐文章于 2024-04-18 23:16:41 发布

叫骚的猫

最新推荐文章于 2024-04-18 23:16:41 发布

阅读量4.8k

点赞数 2

文章标签： python 爬虫 NGA

本文链接：https://blog.csdn.net/wufei1196309006/article/details/103258591

版权

本文介绍了一位新手使用Python进行网络爬虫的实践过程，主要目标是抓取NGA论坛的帖子。首先配置了headers和cookies，接着添加了常用板块，实现了获取板块主题的函数，能提取主题链接和标题。虽然目前只能获取文字回复，但作者表示这是学习过程的一部分，旨在提升技能并享受编程的乐趣。

摘要由CSDN通过智能技术生成

刚学爬虫，试着写了个爬NGA帖子的简单爬虫

先编辑好head和cookie，cookie会过期，如果跑不出结果可以试着换一下

from bs4 import BeautifulSoup
import requests
import time
headers={
   
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
    'Connection':'keep-alive'
}

cookies='UM_distinctid=16df733f26b3a8-0c6ae27b1fe39-3d375b01-1fa400-16df733f26c79f; taihe_bi_sdk_uid=cbd969cd52f5f62a6f7fe5069f57cc6c; ngaPassportUid=34337474; ngaPassportUrlencodedUname=%25BD%25D0%25C9%25A7%25B5%25C4%25C3%25A8; ngaPassportCid=Z8eu0qnv7911if6jl6d1alu112qt5v944g00oii6; ngacn0comUserInfo=%25BD%25D0%25C9%25A7%25B5%25C4%25C3%25A8%09%25E5%258F%25AB%25E9%25AA%259A%25E7%259A%2584%25E7%258C%25AB%0942%0942%09%09-10%0922902%094%090%090%0911_-300%2C22_30%2C61_16%2C39_30%2C85_15; CNZZDATA30043604=cnzz_eid%3D1054280295-1571806389-https%253A%252F%252Fwww.google.com%252F%26ntime%3D1574749354; taihe_bi_sdk_session=3f434363b5d97f0bbe5fb22ee06a1e25; ngacn0comUserInfoCheck=6bef3a1628f60ed226b2d9e40cf7b34a; ngacn0comInfoCheckTime=1574750138; lastvisit=1574750762; lastpath=/read.php?tid=19416263&_ff=436; bbsmisccookies=%7B%22uisetting%22%3A%7B0%3A1%2C1%3A1582092365%7D%2C%22pv_count_for_insad%22%3A%7B0%3A-160%2C1%3A1574787652%7D%2C%22insad_views%22%3A%7B0%3A2%2C1%3A1574787652%7D%7D; _cnzz_CV30043604=forum%7Cfid436%7C0'
cookie={
   }
for line in cookies.split(';'):
    name,value=line.strip().split(