爬虫requests库-3-爬虫贴吧

最新推荐文章于 2023-12-28 21:16:43 发布
最新推荐文章于 2023-12-28 21:16:43 发布
阅读量386 收藏 5
点赞数 4
分类专栏： 爬虫requests库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44464367/article/details/97797914
版权

首先要观察爬虫的URL规律，爬取一个贴吧所有页的数据，观察点击下一页时URL是如何变化的。

思路：
定义一个类，初始化方法什么都不用管
定义一个run方法，用来实现主要逻辑

  3 class TiebaSpider():
  4     def __init__(self):
  5         pass
  6     
  7     
  8     def run(self):  # 实现主要逻辑
  9         # 1、构造url列表
 10         # 2、遍历列表发送请求，获取响应
 11         # 3、保存html页面到本地

思路：

  • 观察要爬取的贴吧URL规律：转化URL，https://tieba.baidu.com/f?kw=李毅&ie=utf-8&pn=0 如果第一页看不出规律，点下一页观察，然后再回到第一页，第一页再次出现的URL会与最开始有所不同。
    第一页pn=0,每次点击下一页，pn就会+50
  • 把url_temp放到init方法中，会变化的地方pn先用大括号占位，还有贴吧名称会变化，后面需要传递参数过来，所以init方法中还需要写个形参tieba_name，这个参数是通过最下方的if name ==“main”:来传递的
    self.url_temp = “https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}”
  3 class TiebaSpider():
  4     def __init__(self,tieba_name):
  5         self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
  6 
 14 
 15 	def run(self):  # 实现主要逻辑
 16     # 1、构造url列表
 17     # 2、遍历列表发送请求，获取响应
 18     # 3、保存html页面到本地
 19 
 20 
 21 if __name__ == "__main__":
 22     tieba_spider = TiebaSpider("李毅")

思路：

  • run方法中的逻辑框架搭建完成后，分别对每个步骤再定义一个方法
  • 构造url列表，定义一个get_url_list方法，利用for循环，然后用return返回循环完成的列表，return是在for循环体外。构造完之后在run方法中调用一下get_url_list，就得到了一个url列表。
  • 接下来完成run方法中的第二步，遍历列表发送请求，获取响应。for url in url_list:
    遍历列表用for循环，发送请求获取响应也可以定义一个方法，然后放到for循环体内。
3 class TiebaSpider():
  4     def __init__(self,tieba_name):
  5         self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
  6 
  7 
  8 	def get_url_list(self):
  9     """构造url列表,获取贴吧1-1000页的内容"""
 10     url_list = []
 11     for i in range (1000):
 12         url_list.append(self.url_temp.format(i*50))
 13     return url_list
 14 
 15 
 19	 def run(self):  # 实现主要逻辑
 20     # 1、构造url列表
 21     url_list = self.get_url_list()
 22     # 2、遍历列表发送请求，获取响应
 23     for url in url_list:
 24         
 25     # 3、保存html页面到本地
 26 
 27 
 28 if __name__ == "__main__":
 29     tieba_spider = TiebaSpider("李毅")

思路：

  • 去定义run方法中第二步的一个方法def parse_url(self):用来发送请求获取响应。
  • 定义的所有方法中，都默认带一个self参数，如果还需要传递其它参数，就继续放进去
  • response = requests.get(url,headers=)用来获取响应，此时用到了requests,需要导入模块，还用到了url变量，需要传递过来，所以要在def parse_url(self)中传递一个形参url，变成def parse_url(self,url)，此时还用到一个headers,可以定义一个字典headers并给它赋值，值可以通过进入贴吧右击检查从Network-Name-Headers-Request Headers中获取，只需赋值User-Agent键值对即可，然后加双引号构造成字典。headers字典变量可以放在定义的def parse_url(self,url)方法上方，也可以放在 def init(self,tieba_name)方法内，放在init方法内需要写成self.headers=字典。然后return response.content.decode()返回响应的字符串。
  • 然后在run方法中调用def parse_url(self,url)函数，调用时方法前加self，同时传递url参数进去，用变量html_str接收。
  1 import requests
  2 
  3 class TiebaSpider():
  4     def __init__(self,tieba_name):
  5         self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
  6         self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36     (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36"}
  7 
  8 	def get_url_list(self):
  9     """构造url列表,获取贴吧1-1000页的内容"""
 10     url_list = []
 11     for i in range (1000):
 12         url_list.append(self.url_temp.format(i*50))
 13     return url_list
 14 
 15 
 16 def parse_url(self,url):
 17     response = requests.get(url,headers=self.headers)
 18     return response.content.decode()
 19 
 20 
 21 def run(self):  # 实现主要逻辑
 22     # 1、构造url列表
 23     url_list = self.get_url_list()
 24     # 2、遍历列表发送请求，获取响应
 25     for url in url_list:
 26         html_str = self.parse_url(url)
 27     # 3、保存html页面到本地
 28 
 29 
 30 if __name__ == "__main__":
 31     tieba_spider = TiebaSpider("李毅")

思路：

  • 完成第三步，保存，定义一个save_html()方法
  • with open("","") as f: 第一个参数是位置，第二个是写入方法。
  • 对保存的html进行格式化，“李毅-第1页”，李毅和X页都是会变化的，设置一个变量：file_path = “{}-第{}页.html”.format()，format中需要传递两个参数，第一个参数不能直接用tieba_name或者self.tieba_name，因为self没有tieba_name，self是TiebaSpider的一个实例，所以去init中定义一个self.tieba_name = tieba_name,此时，format中的第一个参数就可以写self.tieba_name了。format还需要第二个参数，所以给save_html()传递一个page_num参数。然后再f.write(html_str),把上一步获取的html_str写进去就可以了。
  • 注意，open（）中的第一个参数file_path不加引号，write()中的参数html_str没有引号。
  1 import requests
  2 
  3 class TiebaSpider():
  4     def __init__(self,tieba_name):
  5         self.tieba_name = tieba_name
  6         self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
  7         self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36     (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36"}
  8 
  9 def get_url_list(self):
 10     """构造url列表,获取贴吧1-1000页的内容"""
 11     url_list = []
 12     for i in range (1000):
 13         url_list.append(self.url_temp.format(i*50))
 14     return url_list
 15 
 16 
 17 def parse_url(self,url):
 18     response = requests.get(url,headers=self.headers)
 19     return response.content.decode()
 20 
 21 
 22 def save_html(self,html_str,page_num):
 23     """保存html字符串"""
 24     file_path = "{}-第{}页".format(self.tieba_name,page_num)
 25     with open (file_path,"w") as f: # "李毅吧-第1页"做成格式化
 26         f.write(html_str)
 27 
 28 
 29 
 30 def run(self):  # 实现主要逻辑
 31     # 1、构造url列表
 32     url_list = self.get_url_list()
 33     # 2、遍历列表发送请求，获取响应
 34     for url in url_list:
 35         html_str = self.parse_url(url)
 36     # 3、保存html页面到本地
 37 
 38 
 39 if __name__ == "__main__":
 40     tieba_spider = TiebaSpider("李毅")

思路：

  • 接下来在run中调用刚才定义的save_html方法，run中的第三步保存html页面到本地也应放在for循环体内。
  • 调用save_html时需要传递两个参数，因为save_html方法中用到了，所以这里需要传递过去。一个是html_str，这个是上一步得到的，已经有了，可以直接传，还有一个page_num，这个还没有，需要现在定义，page_num = url_list.index(url)+1,页码数就是当前url在url列表中的地址，但因为列表的地址是从0开始的，也就是说第一个url的位置是0，所以后面要加1.
  • 接下来就可以调用run方法了，此处的run方法相当于之前学习定义的main函数，只是换了一个名字而已。
 1 import requests
  2 
  3 class TiebaSpider():
  4     def __init__(self,tieba_name):
  5         self.tieba_name = tieba_name
  6         self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
  7         self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36     (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36"}
  8 
  9     def get_url_list(self):
 10         """构造url列表,获取贴吧1-1000页的内容"""
 11         url_list = []
 12         for i in range (1000):
 13             url_list.append(self.url_temp.format(i*50))
 14         return url_list
 15 
 16 
 17     def parse_url(self,url):
 18         print(url)
 19         response = requests.get(url,headers=self.headers)
 20         return response.content.decode()
 21 
 22 
 23     def save_html(self,html_str,page_num):
 24         """保存html字符串"""
 25         file_path = "{}-第{}页.html".format(self.tieba_name,page_num)
 26         with open (file_path,"w",encoding="utf-8") as f: # "李毅吧-第1页"做成格式化
 27             f.write(html_str)
 28 
 29 
 30 
 31     def run(self):  # 实现主要逻辑
 32         # 1、构造url列表
 33         url_list = self.get_url_list()
 34         # 2、遍历列表发送请求，获取响应
 35         for url in url_list:
 36             html_str = self.parse_url(url)
 37             # 3、保存html页面到本地
 38             page_num = url_list.index(url)+1
 39             self.save_html(html_str,page_num)
 40 
 41 
 42 if __name__ == "__main__":
 43     tieba_spider = TiebaSpider("李毅") # 创建一个类对象
 44     tieba_spider.run()

接下来可以测试程序，但是不会有任何现象，可以在parse_url方法下的第一行代码加一个print，用print打印一下当前的url,看跑到了哪个url。

debug注意：

  • 所有的方法，包括run，一定要写在 class
    TiebaSpider():下，一定要缩进，不能和类左对齐，因为这些方法都是类方法，否则运行时会提示AttributeError:
    ‘TiebaSpider’ object has no attribute ‘run’

  • with open (file_path,“w”,encoding=“utf-8”) as f: # "李毅吧-第1页"做成格式化
    f.write(html_str)
    如果报错， 一定要写上encoding=“utf-8”

面向对象知识复习

列表的另一种构造方式
在这里插入图片描述

在这里插入图片描述

用列表的另一种构造方式替换代码：用5、6行代替1-4行
1 #url_list = []
2 #for i in range (1000):
3 #url_list.append(self.url_temp.format(i50))
4 #return url_list
5 url_list = [self.url_temp.format(i50) for i in range(1000)]
6 return url_list

替换后代码如下，运行结果与之前一致：

  1 import requests
  2 
  3 class TiebaSpider():
  4     def __init__(self,tieba_name):
  5         self.tieba_name = tieba_name
  6         self.url_temp = "https://tieba.baidu.com/f?kw="+tieba_name+"&ie=utf-8&pn={}"
  7         self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36     (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36"}
  8 
  9     def get_url_list(self):
 10         """构造url列表,获取贴吧1-1000页的内容"""
 11         #url_list = []
 12         #for i in range (1000):
 13             #url_list.append(self.url_temp.format(i*50))
 14         #return url_list
 15         url_list = [self.url_temp.format(i*50) for i in range(1000)]
 16         return url_list
 17 
 18 
 19     def parse_url(self,url):
 20         print(url)
 21         response = requests.get(url,headers=self.headers)
 22         return response.content.decode()
 23 
 24 
 25     def save_html(self,html_str,page_num):
 26         """保存html字符串"""
 27         file_path = "{}-第{}页.html".format(self.tieba_name,page_num)
 28         with open (file_path,"w",encoding="utf-8") as f: # "李毅吧-第1页"做成格式化
 29             f.write(html_str)
 30 
 31 
 32 
 33     def run(self):  # 实现主要逻辑
 34         # 1、构造url列表
 35         url_list = self.get_url_list()
 36         # 2、遍历列表发送请求，获取响应
 37         for url in url_list:
 38             html_str = self.parse_url(url)
 39             # 3、保存html页面到本地
 40             page_num = url_list.index(url)+1
 41             self.save_html(html_str,page_num)
 42 
 43 
 44 if __name__ == "__main__":
 45     tieba_spider = TiebaSpider("李毅") # 创建一个类对象
 46     tieba_spider.run()
苦练插画的摄影师Christine
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AttributeError: ‘module‘ object has no attribute ‘run‘
夜里小白龙的博客
07-02 7252
该问题是因为python version >=3.5使用run方法 对于python2版本，要修改为subprocess.call()方法
python爬取百度贴吧前1000页内容（requests库面向对象思想实现）
12-26
此程序以李毅吧为例子，以面向对象的设计思想实现爬取保存网页数据，暂时并未用到并发处理，以后有机会的话会加以改善 首先去百度贴吧分析贴吧地址栏中url后的参数，找到分页对应的参数pn，贴吧名字对应的参数kw 首先创建类，写好__init__方法，run方法，__init__方法里先可以直接写pass run方法里大概整理一下整体的思路 构造 url 列表，因为要爬取1000页，每页需对应一个url 遍历发送请求，获取响应 保存　　 将可封装的步骤封装到单独的方法，所以这里又增加了三个方法 get_url_list方法可以返回需要访问的所有url的
初涉爬虫时的requests库---爬取贴吧内容
cai_cai_cai_1992的博客
09-24 719
requests库在爬虫的实践开发运用中较为常用，实现HTTP请求协议时方法简单，操作方便，易于实现。对于一般的静态网页，都可以方便抓取想要的内容，比起scrapy等框架有明显的优势，爬取定向的简单内容，是极好的。 下面就是运用requests模块，实现一个简单的爬取贴吧网页的爬虫程序。该栗子创建一个类，方便有需要时直接调用继承。 闲言少叙，上菜！！！接代码！！！  看着代码挺多，去掉注释...
爬虫requests库 之爬虫贴吧
weixin_30650859的博客
08-26 254
　　首先要观察爬虫的URL规律，爬取一个贴吧所有页的数据，观察点击下一页时URL是如何变化的。 　　思路： 　　定义一个类，初始化方法什么都不用管 　　定义一个run方法，用来实现主要逻辑 　　3 class TiebaSpider(): 　　4 def __init__(self): 　　5 pass 　　6 　　7 　　8 def run(self): # 实现主要...
python爬虫教程之爬取百度贴吧并下载的示例
12-23
测试url：http://tieba.baidu.com/p/27141123322?pn=begin  1end   4复制代码 代码如下:import string ,urllib2 def baidu_tieba(url,begin_page,end_page):    for i in range(begin_page, end_page+1):        sName = string.zfill(i,5)+ ‘.html’        print ‘正在下载第’ + str(i) + ‘个网页，并将其存储为’ + sName + ‘……….’        f = open (
“AttributeError： Object has no attribute”
最新发布
NX4494的博客
12-28 1万+
“AttributeError： Object has no attribute”
python 爬虫开发之贴吧小工具
铁皮书生
09-23 426
爬虫一共就四个主要步骤： 明确目标 (要知道准备在哪个范围或者网站去搜索) 爬 (将所有的网站的内容全部爬下来) 取 (去掉对我们没用处的数据) 处理数据（按照我们想要的方式存储和使用） ...
解决问题AttributeError: ‘NoneType‘ object has no attribute ‘run‘
hold_on_qlc的博客
01-05 3393
这是一个属性错误，'NoneType'对象没有'run'这个属性。
AttributeError: 'module' object has no attribute 'urlopen报错解决办法
云烟成雨
10-11 2485
AttributeError: ‘module’ object has no attribute 'urlopen 在python3中此处的urllib都应该改成urllib.request python NameError: name ‘raw_input’ is not defined 在python3中用input替换了raw_input TypeError: can’t use a str...
AttributeError: 'module' object has no attribute 'Spider' 解决了
zouxfbj的博客
08-03 5528
参照上上篇安装scrapy的文章，把scarpy的依赖项以及scrapy安装完成之后，用scrapy startproject  创建了一个爬虫项目，然后写了一个最简单的爬虫模块 保存在项目的spider目录下，代码也很简单，如下 #coding:utf-8 import scrapy class CnblogsSpider(scrapy.Spider): name = "c
python AttributeError: '' object has no attribute '' 的错误解决方法
热门推荐
tmoonlee的博客
06-16 13万+
for res in results: # 在这里不要把res写成re了，和引入名字一样会报错 我的这个错误就是因为引入的是 import re后面这个参数名字不能写成re
解决：pipenv shell报错：AttributeError: 'module' object has no attribute 'run'
anywen5590的博客
09-04 6698
利用pipenv shell切换到虚拟环境时，显示报错：AttributeError: 'module' object has no attribute 'run' 可以看到是d:\program\python34\lib\site-packages\pipenv\shells.py文件的第62行报错了，提示模块没有run的属性，于是就跑到该文件的第62行去看 选中run，C...
python错误：AttributeError: ‘module‘ object has no attribute ‘xxxxx‘，10种总结（成功解决）
左手の明天的博客
08-31 3万+
在使用python过程中是不是经常遇到这个问题：AttributeError: 'module' object has no attribute 'xxxxx'。我最近在使用python过程中也遇到了激光这样的问题，在这里我就这个问题总结最常出现的以下几种情况： 情况一：AttributeError: module ‘cv2’ has no attribute ‘CV_HAAR_SCALE_IMAGE’ ...
Tieba_Spider(爬虫)（py2.xx）
weixin_42694291的博客
07-23 529
import urllib import urllib.request import time def loadPage(url, filename): print ("the sys is loading the file you wanted") headers = {"User-Agent":" Mozilla/5.0 (Windows NT 6.1; WOW64) Ap...
python jieba 结巴分词报错 AttributeError: 'module' object has no attribute 'cut'
笔记小屋
06-29 1万+
首先这个AttributeError: ‘module’ object has no attribute ‘cut’ 报错的原因是因为有jieba.py这个文件存在，或者jieba这样命名的文件存在，很多新人使用结巴 来分词的时候命名直接为jieba.py，但是其实官方给的教程代码里有import jieba，这样就会引用到你自己这个教程文件jieba.py，而没有引用官方的库，所以报错。
Python基础学习-'module' object has no attribute 'urlopen'解决方法
我们的目标是星辰大海
11-17 4万+
用的是python 3.4 非常简单的一小段代码 #!/usr/bin/python # -*- coding: UTF-8 -*- import urllib def getHtml(url): print(type(url)) page = urllib.urlopen(url).read() html=page.read() return html url=
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值