百度贴吧爬虫：理解网页的加载过程

yinglish_

于 2018-08-24 16:48:53 发布

阅读量698

点赞数

分类专栏：数据挖掘文章标签：爬虫 python b

本文链接：https://blog.csdn.net/yinglish_/article/details/82021383

版权

本文通过实例介绍了如何使用爬虫抓取百度贴吧的数据，重点在于理解网页加载过程，包括通过Network分析请求数据，识别关键链接如totalComment，并解析楼层与回复的对应关系。此外，还探讨了时间戳参数t的识别和分页处理的重要性。

摘要由CSDN通过智能技术生成

最近在学习爬虫，就顺便记录一下吧(つд⊂)
以百度贴吧的主题帖为例子，首先，在百度贴吧主页那个大大的搜索框旁边，点那个小小的“高级搜索”，输入关键词，以“王思聪”为例，enter后在排序结果那里点主题帖（这种类型的帖子相关性比较高）

获取该页面的所有的入口链接。（最好要设置headers吧）

import requests

url = "http://tieba.baidu.com/f/search/res?isnew=1&kw=&qw=%CD%F5%CB%BC%B4%CF&rn=10&un=&only_thread=0&sm=1&sd=&ed=&pn=1"

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}