python爬虫练习之用urllib模块来爬取百度贴吧指定内容指定页面的全网页内容，（版本1）

最新推荐文章于 2024-05-02 21:47:38 发布
最新推荐文章于 2024-05-02 21:47:38 发布
阅读量7.9k 收藏 6
点赞数 5
分类专栏： python 论坛爬虫 数据挖掘 文章标签： python 数据挖掘 爬虫 论坛爬取 爬虫练习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xdc1812547560/article/details/108013490
版权
本文介绍了如何使用Python的urllib模块爬取百度贴吧特定内容页面的完整网页，并将其保存为.html文件。通过分析链接参数，设置请求头，编码链接并发起请求，最后将网页内容保存到本地。详细步骤包括解析链接、构造请求头、拼接URL、文件命名及内容存储。
摘要由CSDN通过智能技术生成

文章目录

目标：

用urllib模块实现
根据搜索来获取指定贴吧内容网页，然后以’.html’格式直接保存网页，

可参考：

https://blog.csdn.net/xdc1812547560/article/details/107989273

计划

首先，引入模块，然后分步来完成
分三步：
1、分析百度网页链接来通过改变链接中的参数来获取指定页面
2、获取网页内容
3、保存

第一步

首先分析链接得出页面的变化与参数pn=‘？’有关

import urllib.request
import urllib.parse
import random

#1、分析百度贴吧网页链接
#第一页
#https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=0
#第二页
#https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=50
#第三页
# https://tieba.baidu.com/f?kw=%E7%BE%8E%E5%A5%B3&ie=utf-8&pn=100
#从网页链接分析来看，我们发现当pn=?改变时页面会改变，页数的规律 pn = (当前页数 - 1)*50

第二步

请求头

然后获取网页内容
首先设置请求头，这里使用两个User-Agent来随机交替使用

#2、获取网页内容
#因为可能爬取的页面过多，所以用多个user-agent来随机请求网页
headers_list = [{
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'},{
   'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'}]
headers = random.choice(headers_list)

url拼接与请求

获取所需

获取需要爬取的贴吧名与开始页数，结束页数

# 获取搜索
sousuo = input('您要爬取的贴吧的贴吧名：')
# 开始页数
start_page = int(input('需要爬取的开始页数：'))
# 结束页数
end_pag
最低0.47元/天 解锁文章
码农一号已就位
关注
专栏目录
Python爬取贴吧图片（含urllib库和requests库的两种爬取方式）
Zing的博客
03-22 1852
概述 ======= 个人摸索向，只是一次小小的记录：） =======         重新温习一下被放下太久的Python爬虫技能，这次试着爬一下ID:INVADED 异度侵入贴吧的图片。（今晚还要等着最后一集更新呢… 环境及涉及库 Python3.6 urllib.request requests 页面获取 ...
爬虫（二）使用urllib爬取百度贴吧的数据
陌影_my的博客
02-02 1300
下一期我就不用urllib来抓取数据了，因为urllib现在已经很少人用，大部分人用得是requests，requests也是基于底层urllib的一个模块。 首先我先来讲一下关于如何使用动态的UA！ 动态UA就是指在自己创建的一个列表里随机选择一个UA当做请求浏览器的一个请求头. 我们先自定义一个列表User_Agents,然后将要添加的UA传进去. UA大全 User_Agents = [ 'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64)
Python爬虫实战：用urllib和re爬取百度贴吧
人生苦短， 还不用Python？
08-17 1316
这篇文章我们将使用 urllib 和 re 模块爬取百度贴吧，并使用三种文件格式存储数据，下面先贴上最终的效果图 1、网页分析 （1）准备工作 首先我们使用 Chrome 浏览器打开 百度贴吧，在输入栏中输入关键字进行搜索，这里示例为 “计算机吧” （2）分析 URL 规律 接下来我们开始分析网站的 URL 规律，以便于通过构造 URL 获取网站中所有网页的内容 第一页：http:/...
python爬取百度贴吧(urllib库)
weixin_44851971的博客
11-01 644
import urllib.parse import urllib.request from 爬虫不同的库发出请求.usergent import usergent header = {"User-Agent":usergent()} def loadpage(allurl): print("正在下载-----") urr = urllib.request.Request(allurl,headers=header) response = urllib.request.urlo
urllib库 + lxml库爬取任意百度贴吧图片
Money多多
12-20 846
用到的知识 1.用urllib库发送GET请求 2.用XPath搜索匹配文档节点 3.lxml库解析HTML文档 源码 # !/usr/bin/env python # -*- coding:utf-8 -*- from lxml import etree import urllib.request import urllib.parse import random impor
python爬虫练习之用urllib模块来爬取百度贴吧指定内容指定页面的全网页内容，（版本3）
xdc1812547560的博客
08-15 6741
文章目录可参考：分步：定义类，并初始化定义请求的方法定义存文件的方法定义主体的方法运行主函数完整代码效果 可参考： https://blog.csdn.net/xdc1812547560/article/details/107989273 https://blog.csdn.net/xdc1812547560/article/details/108027258 https://blog.csdn.net/xdc1812547560/article/details/108013490 分步： 导入库 impo
Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据
2401_84562810的博客
05-02 1417
pythonkw = input(‘请输入要翻译的英文单词：’)data = {‘kw’: kw# 由于百度翻译没有反扒措施，因此可以不写请求头‘referer’: ‘百度翻译-200种语言互译、沟通全世界！’,
python爬虫之使用urllib模块实现有道翻译功能
xdc1812547560的博客
08-16 6857
目标： 用python的urllib库实现有道翻译 导入需要的库，设置交互进行交互 import urllib.request import urllib.parse import json # 请输入你要翻译的内容 key = input('请输入您要翻译的内容:') 分析网页，由于网页为动态网页所以从Network中寻找，找出结果如下： 于是确定好data # 把提交的form表单的数据转换为bytes类型的数据 data = { 'i': key, 'from': 'AUTO
python 百度贴吧 爬虫
04-18
按照帖子顺序遍历百度帖子的爬虫 根据静谧修改（原来那个失效了） 目前速度较慢
python爬取百度贴吧前1000页内容（requests库面向对象思想实现）
12-26
此程序以李毅吧为例子，以面向对象的设计思想实现爬取保存网页数据，暂时并未用到并发处理，以后有机会的话会加以改善 首先去百度贴吧分析贴吧地址栏中url后的参数，找到分页对应的参数pn，贴吧名字对应的参数kw 首先创建类，写好__init__方法，run方法，__init__方法里先可以直接写pass run方法里大概整理一下整体的思路 构造 url 列表，因为要爬取1000页，每页需对应一个url 遍历发送请求，获取响应 保存　　 将可封装的步骤封装到单独的方法，所以这里又增加了三个方法 get_url_list方法可以返回需要访问的所有url的
Python实现的爬取百度贴吧图片功能完整示例
09-19
主要介绍了Python实现的爬取百度贴吧图片功能,结合完整实例形式分析了Python实现的百度贴吧图片爬虫相关操作技巧,需要的朋友可以参考下
采用request.urllib爬取百度贴吧的三种方式
Claire_chen_jia的博客
05-03 1267
这篇文主要讲的是三种方式采用request.urllib从百度贴吧里面爬取内容。 爬取需求为：输入要爬取贴吧的名称（如：python），在输入爬取的起始页和终止页,把每一页保存到本地 爬取的方式为：（1）用普通步骤；（2）用函数方式；（3）用类的方式 ''' 使用request.urllib模块读取百度贴吧 需求: 输入要爬取贴吧的名称（如：python），在输入爬取的起始页和终止页,把每一页保存...
使用urllib分页爬取百度贴吧的实践
qq_48288251的博客
07-09 437
一、使用urllib分页爬取百度贴吧的实践 1、引入urllib.request组件 2、爬取百度贴吧的基本步骤 (1) 编写loadPage(surl)方法爬取指定url地址的网页,并返回网页的内容 (2) 编写爬虫的方法tibaSprider(surl,pagestartNum,pageendNum)，传第三个参数，分别是url 地址，起始页数和终止页数 (3) 编写保存文件的方法writeFilePage(htmltxt,page)，传递loadPage方法返回的html内容,并保存到文件中 (4)
Python零基础之用三种方式爬取百度贴吧(urllib,request,parse)
kingx3的博客
07-16 341
一: 入门写法 # !/usr/bin/python # Filename: 实战 爬取百度贴吧.py # Data : 2020/07/14 # Author : --king-- # ctrl+alt+L自动加空格格式化 import urllib.request, urllib.parse import random # 随机获取一个user-agent # 百度上很多U-A大全 header_list = [{ 'User-Agent': 'Moz
python爬虫获取百度贴吧内容
qq_43764365的博客
07-04 3606
python爬虫获取百度贴吧内容python爬虫获取百度贴吧内容*声明：本文仅供学习交流使用，请勿用于商业用途，违者后果自负。* python爬虫获取百度贴吧内容 博主是一个比较懒的人，不会按时更新分享分章，今天看到有人留言评论说希望我出一个爬取贴吧的教程，那么我就满足他，教程如下： 分析网页:首先我们要去爬取一个网页的内容，那么我们就需要对这个网页的网页结构有一定的了解 ，接下来我们就一步一步的来分析今天我们要去获取的目标网站百度贴吧 首先找到我们的目标网站https://tieba.baidu.com
urllib:爬取贴吧静态数据
琦彦
11-06 6184
    所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，其中最常用的就是urllib。 urllib库的基本使用 urllib提供了一系列用于操作URL的功能。 urllib库是用于操作URL，爬取页面的python第三方库，同样的库还有requests、httplib2。 在Python2.X中，分urllib和u...
【Python】利用urllib模块+正则表达式爬取贴吧图片
Mitchell_Donovan的博客
11-27 1874
题目???? 利用urllib模块+正则表达式爬取http://tieba.baidu.com/p/2460150866页面中的所有图片，保存到本地 思路分析???? 本题的核心就是python3中urllib.request模块提供的urlretrieve()函数。 ????urlretrieve()方法可以实现直接将远程数据下载到本地 函数urlretrieve(url, filename=None, reporthook=None, data=None) 参数名称 参数意义
使用urllib模块爬取百度贴吧网页内容
最新发布
07-03
使用Python中的`urllib`模块爬取百度贴吧网页内容涉及以下几个步骤： 1. 导入所需的库： ```python import urllib.request from bs4 import BeautifulSoup # 引入BeautifulSoup解析HTML ``` 2. 定义URL和请求头（模拟浏览器访问）： ```python url = "https://tieba.baidu.com/" # 百度贴吧首页或其他具体页面地址 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 设置用户代理，避免被识别为机器人 ``` 3. 发送GET请求并获取网页内容： ```python response = urllib.request.Request(url, headers=headers) with urllib.request.urlopen(response) as response_obj: html_content = response_obj.read().decode('utf-8') ``` 4. 解析网页内容： ```python soup = BeautifulSoup(html_content, 'lxml') # 使用BeautifulSoup解析HTML # 找到你需要的内容，如帖子列表、文章等，可能需要用到`soup.find_all()`或`.select()`方法 content_items = soup.select('.post-content') # 假设.post-content是帖子内容的CSS选择器 ``` 5. 处理数据： ```python for item in content_items: post_text = item.get_text() # 获取文本内容 print(post_text) ``` 6. 结果保存或进一步处理： ```python # 可选：将抓取的数据写入文件或数据库，或者做更复杂的分析操作 ``` 注意：在实际爬虫中，请遵守网站的robots.txt规则，并尊重版权，不要频繁发送请求导致服务器压力过大。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值