Python爬虫实战：用urllib和re爬取百度贴吧

最新推荐文章于 2024-04-15 21:48:59 发布
最新推荐文章于 2024-04-15 21:48:59 发布
阅读量1.3k 收藏 4
点赞数
分类专栏： Python爬虫 文章标签： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fei347795790/article/details/99693157
版权

这篇文章我们将使用 urllib 和 re 模块爬取百度贴吧，并使用三种文件格式存储数据，下面先贴上最终的效果图

image

1、网页分析

（1）准备工作

首先我们使用 Chrome 浏览器打开 百度贴吧，在输入栏中输入关键字进行搜索，这里示例为 “计算机吧”

image

（2）分析 URL 规律

接下来我们开始分析网站的 URL 规律，以便于通过构造 URL 获取网站中所有网页的内容

第一页：http://tieba.baidu.com/f?kw=%E8%AE%A1%E7%AE%97%E6%9C%BA&ie=utf-8&pn=0
第二页：http://tieba.baidu.com/f?kw=%E8%AE%A1%E7%AE%97%E6%9C%BA&ie=utf-8&pn=50
第三页：http://tieba.baidu.com/f?kw=%E8%AE%A1%E7%AE%97%E6%9C%BA&ie=utf-8&pn=100
…

通过观察不难发现，它的 URL 十分有规律，主要的请求参数分析如下：

  • kw：搜索的关键字，使用 URL 编码，可以通过 urllib.parse.quote() 方法实现
  • ie：字符编码的格式，其值为 utf-8
  • pn：当前页面的页码，并且以 50 为步幅增长

所以完整的 URL 可以泛化如下：http://tieba.baidu.com/f?kw={keyword}&ie=utf-8&pn={page}

image

核心代码如下：

import urllib.request
import urllib.parse
'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
# 获取网页源代码
def get_page(url):
    # 构造请求头部
    headers = {
        'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    # 构造请求对象
    req = urllib.request.Request(url=url,headers=headers)
    # 发送请求，得到响应
    response = urllib.request.urlopen(req)
    # 获得网页源代码
    html = response.read().decode('utf-8')
    # 返回网页源代码
    return html
（3）分析内容规律

接下来我们直接使用快捷键 Ctrl+U 打开网页的源代码，认真分析每一页中我们需要抓取的数据

容易发现每一个帖子的内容都被包含在一个

  • 标签中，我们可以使用正则表达式进行匹配，具体包括：

    • 主题名称：r'href="/p/\d+" title="(.+?)"'

    • 主题作者：r'title="主题作者: (.+?)"'

    • 链接地址：r'href="/p/(\d+)"'

    • 回复数：r'title="回复">(\d+)<'

    • 创建日期：r'title="创建时间">(.+?)<'

    image

    核心代码如下：

    import re
'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
# 解析网页源代码，提取数据
def parse_page(html):
    # 主题名称
    titles = re.findall(r'href="/p/\d+" title="(.+?)"',html)
    # 主题作者
    authods = re.findall(r'title="主题作者: (.+?)"',html)
    # 链接地址
    nums = re.findall(r'href="/p/(\d+)"',html)
    links = ['http://tieba.baidu.com/p/'+str(num) for num in nums]
    # 回复数量
    focus = re.findall(r'title="回复">(\d+)',html)
    # 创建时间
    ctimes = re.findall(r'title="创建时间">(.+?)<',html)
    # 获得结果
    data = zip(titles,authods,links,focus,ctimes)
    # 返回结果
    return data
    （4）保存数据

    下面将数据保存为 txt 文件、json 文件和 csv 文件

    import json
import csv
'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
# 打开文件
def openfile(fm,fileName):
    fd = None
    if fm == 'txt':
        fd = open(fileName+'.txt','w',encoding='utf-8')
    elif fm == 'json':
        fd = open(fileName+'.json','w',encoding='utf-8')
    elif fm == 'csv':
        fd = open(fileName+'.csv','w',encoding='utf-8',newline='')
    return fd

# 将数据保存到文件
def save2file(fm,fd,data):
    if fm == 'txt':
        for item in data:
            fd.write('----------------------------------------\n')
            fd.write('title：' + str(item[0]) + '\n')
            fd.write('authod：' + str(item[1]) + '\n')
            fd.write('link：' + str(item[2]) + '\n')
            fd.write('focus：' + str(item[3]) + '\n')
            fd.write('ctime：' + str(item[4]) + '\n')
    if fm == 'json':
        temp = ('title','authod','link','focus','ctime')
        for item in data:
            json.dump(dict(zip(temp,item)),fd,ensure_ascii=False)
    if fm == 'csv':
        writer = csv.writer(fd)
        for item in data:
            writer.writerow(item)

    2、编码实现

    完整代码如下，也很简单，还不到 100 行

    import urllib.request
import urllib.parse
import re
import json
import csv
import time
import random
'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
# 获取网页源代码
def get_page(url):
    headers = {
        'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    req = urllib.request.Request(url=url,headers=headers)
    response = urllib.request.urlopen(req)
    html = response.read().decode('utf-8')
    return html

# 解析网页源代码，提取数据
def parse_page(html):
    titles = re.findall(r'href="/p/\d+" title="(.+?)"',html)
    authods = re.findall(r'title="主题作者: (.+?)"',html)
    nums = re.findall(r'href="/p/(\d+)"',html)
    links = ['http://tieba.baidu.com/p/'+str(num) for num in nums]
    focus = re.findall(r'title="回复">(\d+)',html)
    ctimes = re.findall(r'title="创建时间">(.+?)<',html)
    data = zip(titles,authods,links,focus,ctimes)
    return data

# 打开文件
def openfile(fm,fileName):
    if fm == 'txt':
        return open(fileName+'.txt','w',encoding='utf-8')
    elif fm == 'json':
        return open(fileName+'.json','w',encoding='utf-8')
    elif fm == 'csv':
        return open(fileName+'.csv','w',encoding='utf-8',newline='')
    else:
        return None

# 将数据保存到文件
def save2file(fm,fd,data):
    if fm == 'txt':
        for item in data:
            fd.write('----------------------------------------\n')
            fd.write('title：' + str(item[0]) + '\n')
            fd.write('authod：' + str(item[1]) + '\n')
            fd.write('link：' + str(item[2]) + '\n')
            fd.write('focus：' + str(item[3]) + '\n')
            fd.write('ctime：' + str(item[4]) + '\n')
    if fm == 'json':
        temp = ('title','authod','link','focus','ctime')
        for item in data:
            json.dump(dict(zip(temp,item)),fd,ensure_ascii=False)
    if fm == 'csv':
        writer = csv.writer(fd)
        for item in data:
            writer.writerow(item)

# 开始爬取网页
def crawl():
    kw = input('请输入主题贴吧名字：')
    base_url = 'http://tieba.baidu.com/f?kw=' + urllib.parse.quote(kw) + '&ie=utf-8&pn={page}'
    fm = input('请输入文件保存格式（txt、json、csv）：')
    while fm!='txt' and fm!='json' and fm!='csv':
        fm = input('输入错误，请重新输入文件保存格式（txt、json、csv）：')
    fd = openfile(fm,kw)
    page = 0
    total_page = int(re.findall(r'共有主题数<span class="red_text">(\d+)</span>个',get_page(base_url.format(page=str(0))))[0])
    print('开始爬取')
    while page < total_page:
        print('正在爬取第', int(page/50+1), '页.......')
        html = get_page(base_url.format(page=str(page)))
        data = parse_page(html)
        save2file(fm,fd,data)
        page += 50
        time.sleep(random.random())
    fd.close()
    print('结束爬取')

if __name__ == '__main__':
    crawl()
嗨学编程
关注
专栏目录
Python爬取贴吧图片（含urllib库和requests库的两种爬取方式）
Zing的博客
03-22 1852
概述 ======= 个人摸索向，只是一次小小的记录：） =======         重新温习一下被放下太久的Python爬虫技能，这次试着爬一下ID:INVADED 异度侵入贴吧的图片。（今晚还要等着最后一集更新呢… 环境及涉及库 Python3.6 urllib.request requests 页面获取 ...
python爬虫实战二之爬取百度贴吧帖子
finna_xu的博客
03-31 2562
目标： 1.对百度贴吧的任意帖子进行抓取 2.指定是否只抓取楼主发帖内容 3.将抓取到的内容分析并保存到文件 1.URL格式的确定 首先，我们先观察一下百度贴吧的任意一个帖子。比如：http://tieba.baidu.com/p/3138733512?see_lz=1&pn=1，分析一下地址 http：//表示资源传输使用http协议 tieba.baidu.com 是百度
urllib爬虫案例(实战）
最新发布
eqwaak0的博客
04-15 1417
的爬虫案例－通过最原始的爬虫方式 爬虫之前如果抓包工具Fiddler证书安装失败，采用以下方法。1、打开cmd 2、进入fillder的目录 如下： 里面的路径改成你自己的安装路径。
爬虫（二）使用urllib爬取百度贴吧的数据
陌影_my的博客
02-02 1298
下一期我就不用urllib来抓取数据了，因为urllib现在已经很少人用，大部分人用得是requests，requests也是基于底层urllib的一个模块。 首先我先来讲一下关于如何使用动态的UA！ 动态UA就是指在自己创建的一个列表里随机选择一个UA当做请求浏览器的一个请求头. 我们先自定义一个列表User_Agents,然后将要添加的UA传进去. UA大全 User_Agents = [ 'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64)
爬虫系列(六) 用urllib和re爬取百度贴吧
半虹小站
08-17 2395
这篇文章我们将使用 urllib 和 re 模块爬取百度贴吧，并使用三种文件格式存储数据，下面先贴上效果图
urllib爬取百度贴吧贴子页面
執筆冩回憶
07-02 387
# coding:utf-8 # 爬取百度贴吧.py import urllib.request import urllib urllib2 = urllib.request def loadPage(url,filename): """ 作用：根据url发送请求，获取服务器响应文件 url：需要爬取的url地址 filename：处理的文件名 """ print("正在下载"+f...
使用urllib分页爬取百度贴吧的实践
qq_48288251的博客
07-09 436
一、使用urllib分页爬取百度贴吧的实践 1、引入urllib.request组件 2、爬取百度贴吧的基本步骤 (1) 编写loadPage(surl)方法爬取指定url地址的网页,并返回网页的内容 (2) 编写爬虫的方法tibaSprider(surl,pagestartNum,pageendNum)，传第三个参数，分别是url 地址，起始页数和终止页数 (3) 编写保存文件的方法writeFilePage(htmltxt,page)，传递loadPage方法返回的html内容,并保存到文件中 (4)
《python爬虫实战》：爬取贴吧上的帖子
热门推荐
wojiushimogui的博客
12-06 1万+
《python爬虫实战》：爬取贴吧上的帖子经过前面两篇例子的练习，自己也对爬虫有了一定的经验。 由于目前还没有利用BeautifulSoup库，因此关于爬虫的难点还是正则表达式的书写。但是，当写几个正则表达式之后，发现还是有一定的规则可循的，只要我们的目的明确，想得到网页的什么，我们就直接在该网页上，找到我们想要的内容在html代码中出现的格式是怎么样的。例如，我们想获取贴吧上帖子的标题。 解决
python爬取贴吧所有帖子-python爬取贴吧帖子
weixin_37988176的博客
11-01 1981
一、介绍我们常遇到一些很长的贴吧连载帖子想存到本地再看此文就是运用python爬取指定百度贴吧的帖子并存到本地满足需求环境:python2.7目标网页:【长篇连载】剑网3的正史和野史——从头开始讲剧情故事源码存放:源码github本文参考:静觅博客python实战系列二、页面的抓取目标网页网址为https://tieba.baidu.com/p/2196794546满足可以选择是否只看楼主的抓取我...
[python3]爬虫实战二之爬取百度贴吧帖子
haliofwu的专栏
10-26 1060
大家好，上次我们实验了爬取了糗事百科的段子，那么这次我们来尝试一下爬取百度贴吧的帖子。与上一篇不同的是，这次我们需要用到文件的相关操作。 本篇目标 1.对百度贴吧的任意帖子进行抓取 2.指定是否只抓取楼主发帖内容 3.将抓取到的内容分析并保存到文件
python 百度贴吧 爬虫
04-18
按照帖子顺序遍历百度帖子的爬虫 根据静谧修改（原来那个失效了） 目前速度较慢
[Python]实战——百度贴吧爬虫
机器学习
02-22 2692
网络爬虫(Web Spiders)是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。半年前，我接触了Lucene搜索引擎开发——开始了网络爬虫之旅；当时，采用的是纯Java开发环境，对百度某吧几百万帖子进行了全面爬取。那时候我对Python一点都不了解，今天对《Pyhon基础教程：第2版·修订版》以及极客学院相关视频进行了学习，形成了本文。 Key Words: 网络爬虫, 多线程, requests, XPath, lxml
使用urllib爬取网页（1百度贴吧）
missa_emperor的博客
03-16 496
import urllib.request import urllib.parse url='https://tieba.baidu.com/f?' word=input("请输入你要爬取的网页关键词：") kw={'kw':word} kw=urllib.parse.urlencode(kw) #转换成url编码 new_url=url+kw #拼接成完整的url headers={'us...
【Python_urllib学习笔记（三）】使用urllib库，爬取百度贴吧的指定页数据并保存到本地
禾戊之昂的博客
02-04 512
【Python_urllib学习笔记（三）】使用urllib库，爬取百度贴吧的指定页数据并保存到本地
爬虫（七十六）用urllib和re爬取百度贴吧
人生代码 ---- 公众号
03-11 349
这篇文章我们将使用 urllib 和 re 模块爬取百度贴吧，并使用三种文件格式存储数据，下面先贴上最终的效果图1、网页分析（1）准备工作首先我们使用 Chrome 浏览器打开百度贴吧...
简单的百度贴吧爬虫实现（urllib）
anqin2712的博客
07-18 185
环境：ubuntu 16.04 LTS （X86-64），pycharm python版本 ：3.5.1+ #生成的文件默认会保存到代码所在根目录 1 import urllib.request,urllib.error,re 2 3 class Tool: 4 removeImg=re.compile('<img.*?| {7}|') 5 ...
python爬虫练习之用urllib模块来爬取百度贴吧指定内容指定页面的全网页内容，（版本2）
xdc1812547560的博客
08-15 6930
文章目录目标：可参考：第一步引入模块读取页面第二步第三步主函数体运行完整代码运行结果 目标： 用urllib模块实现 根据搜索来获取指定贴吧内容网页，然后以’.html’格式直接保存网页， 可参考： https://blog.csdn.net/xdc1812547560/article/details/107989273 [https://blog.csdn.net/xdc1812547560/article/details/108013490] (https://blog.csdn.net/xdc1812
urllib:爬取贴吧静态数据
琦彦
11-06 6184
    所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，其中最常用的就是urllib。 urllib库的基本使用 urllib提供了一系列用于操作URL的功能。 urllib库是用于操作URL，爬取页面的python第三方库，同样的库还有requests、httplib2。 在Python2.X中，分urllib和u...
urllib库爬取百度贴吧
2301_79817778的博客
11-24 1063
网页爬取之urllib库
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值