爬取百度贴吧（一）--分析贴吧首页源码

最新推荐文章于 2021-11-21 01:30:00 发布

浅墨微蓝

最新推荐文章于 2021-11-21 01:30:00 发布

阅读量3.4k

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/weixin_41586605/article/details/83756609

版权

本文介绍了如何分析百度贴吧首页源码以获取帖子的标题、回复数、时间及链接。通过开发者工具定位到帖子信息所在的HTML结构，发现每个帖子信息位于`<li>`标签下，并详细阐述了提取各种信息的方法，包括使用`<a>`标签的`href`获取链接和`title`获取标题，以及查找时间信息。

摘要由CSDN通过智能技术生成

一、分析贴吧网页源码结构

直接打开源代码，太乱了。无从下手，那就从开发者工具找一下。

我想获取每个帖子的标题、回复数、时间和链接（可能的话以后会尝试自动保存帖子当前页的截图）

先选中帖子的模块吧~

在chrome中，ctrl+shift+i就可以打开。

选中elements的选项。

接下来的操作就很简单了，只要将鼠标移到代码上，其所指示的位置就会标出。

一步一步，得出了我想找的一个帖子所对应的代码，以第一个非置顶帖为例：

不难看出，我们想要的帖子在这个html文件的body/div class="wrap1"/div class="wrap2"/...content/....../j_thread_list下

上面是置顶帖，下面紧挨着的，自然是下一个帖子。

我们发现每一个帖子在贴吧首页的信息都是存放在一个单独的<li>标签下的，右键，导出为html，然后我们就可以在别的文本编辑器里粘贴这部分的内容。

粘贴结果如下：

<li class=" j_thread_list clearfix" data-field="{&quot;id&quot;:5935765954,&quot;author_name&quot;:&quot;zero2crayon&quot;,&quot;author_nickname&quot;:&quot;\ud83c\udf6dzero\ud83c\udf7c&quot;,&quot;author_portrait&quot;:&quot;8ffe7a65726f32637261796f6ef3a4&quot;,&quot;first_post_id&quot;:122696355566,&quot;reply_num&quot;:6,&quot;is_bakan&quot;:null,&quot;vid&quot;:&quot;&quot;,&quot;is_good&quot;:null,&quot;is_top&quot;:null,&quot;is_protal&quot;:null,&quot;is_membertop&quot;:null,&quot;is_multi_forum&quot;:null,&quot;frs_tpoint&quot;:null}">
            <div class="t_con cleafix">
                            <div class="col2_left j_threadlist_li_left">
                 
                        <span class="threadlist_rep_num center_text" title="回复">6</span>
                            </div>
                <div class="col2_right j_threadlist_li_right ">
            <div class="threadlist_lz clearfix">
                <div class&

最低0.47元/天解锁文章