【python爬虫专项（8）】爬虫实战项目一（ 豆瓣图书类别的书籍信息数据获取——爬虫逻辑2）

最新推荐文章于 2021-08-31 13:16:00 发布
最新推荐文章于 2021-08-31 13:16:00 发布
阅读量1.9k 收藏 28
点赞数 3
分类专栏： # python爬虫专项 文章标签： python 数据分析 excel 豆瓣爬虫 项目实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lys_828/article/details/104219480
版权
任意一图书类别的书籍信息数据

参考网址：豆瓣读书网
在这里插入图片描述

爬虫逻辑：【分页网页url采集】-【数据采集】

这次的逻辑要求分两步走，封装两个函数

函数1：get_urls(n) → 【分页网页url采集】
          n：页数参数
          结果：得到一个分页网页的list

函数2：get_data(ui,d_h,d_c) → 【数据采集】
          ui：数据信息网页
          d_h：user-agent信息
          d_c：cookies信息
          结果：得到数据的list，每条数据用dict存储

采集数据字段

按照第一个红色框中圈出的内容进行每个书籍内容的获取
在这里插入图片描述

设置登录信息cookies

写多了就会背了，标准的处理方式

cookies_lst = cookies.split("; ")
dic_cookies = {}
for i in cookies_lst:
	dic_cookies[i.split("=")[0]] = i.split("=")[1]

注意：使用异常处理（try…except…）

要求采集200条数据，结果保存为dataframe，并做基本数据清洗

10页【分页网页url采集】- 每页20条数据

          评分 字段

          页数 字段

          评价数量 字段

本次采集难点

详细信息部分字段并不能保持完全一致，较难标准化（和上一个博客的要求②类似，没有统一的标准）
在这里插入图片描述

前期准备和封装第一个函数

和逻辑1里面的代码一模一样，直接可以给出

import requests 
from bs4 import BeautifulSoup
import pandas as pd


def get_url(n):
	'''
	【分页网址url采集】函数
	n：页数参数
	结果：得到一个分页网页的list
	'''
	lst = []
	for i in range(10):
		ui = "https://book.douban.com/tag/%E7%94%B5%E5%BD%B1?start={}&type=T".format(i*20)
		#print(ui)
		lst.append(ui)
	return lst
网页信息解析

关于headers和cookies已经设置过了，可以直接拿来用，如下

dic_heders = {
       'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }

dic_cookies = {}
cookies = 'll="108296"; bid=b9z-Z1JF8wQ; _vwo_uuid_v2=DDF408830197B90007427EFEAB67DF985|b500ed9e7e3b5f6efec01c709b7000c3; douban-fav-remind=1; __yadk_uid=2D7qqvQghjfgVOD0jdPUlybUNa2MBZbz; gr_user_id=5943e535-83de-4105-b840-65b7a0cc92e1; dbcl2="150296873:VHh1cXhumGU"; push_noty_num=0; push_doumail_num=0; __utmv=30149280.15029; __gads=ID=dcc053bfe97d2b3c:T=1579101910:S=ALNI_Ma5JEn6w7PLu-iTttZOFRZbG4sHCw; ct=y; Hm_lvt_cfafef0aa0076ffb1a7838fd772f844d=1579102240; __utmz=81379588.1579138975.5.5.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmz=30149280.1579162528.9.8.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; ck=csBn; _pk_ref.100001.3ac3=%5B%22%22%2C%22%22%2C1581081161%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DNq2xYeTOYsYNs1a4LeFRmxqwD_0zDOBN253fDrX-5wRdwrQqUpYGFSmifESD4TLN%26wd%3D%26eqid%3De7868ab7001090b7000000035e1fbf95%22%5D; _pk_ses.100001.3ac3=*; __utma=30149280.195590675.1570957615.1581050101.1581081161.16; __utmc=30149280; __utma=81379588.834351582.1571800818.1581050101.1581081161.12; __utmc=81379588; ap_v=0,6.0; gr_session_id_22c937bbd8ebd703f2d8e9445f7dfd03=b6a046c7-15eb-4e77-bc26-3a7af29e68b1; gr_cs1_b6a046c7-15eb-4e77-bc26-3a7af29e68b1=user_id%3A1; gr_session_id_22c937bbd8ebd703f2d8e9445f7dfd03_b6a046c7-15eb-4e77-bc26-3a7af29e68b1=true; _pk_id.100001.3ac3=6ec264aefc5132a2.1571800818.12.1581082472.1581050101.; __utmb=30149280.7.10.1581081161; __utmb=81379588.7.10.1581081161'
cookies_lst = cookies.split("; ")
for i in cookies_lst:
	dic_cookies[i.split("=")[0]] = i.split("=")[1]

网页信息请求，所有的书籍信息都被收集在【ul】标签下面
在这里插入图片描述
编写代码获取其中的一个书籍内容进行试错

ri = requests.get(u1, headers = dic_heders, cookies = dic_cookies)
soup_i = BeautifulSoup(ri.text, 'lxml')
ul = soup_i.find('ul', class_ = 'subject-list')
lis = ul.find_all('li')

获取其中的标签信息，以字典方式存储

dic = {}
dic['标题'] = lis[0].find("div", class_ = 'info').h2.text.replace(" ","").replace("\n","")
dic['评分'] = lis[0].find("span", class_ = 'rating_nums').text.replace("(","")
dic['评价人数'] = lis[0].find("span", class_ = 'pl').text.replace(" ","").replace("\n","").replace("(","").replace(")","")
dic['简介'] = lis[0].find("p").text.replace("\n",",")
dic['其他'] = lis[0].find("div", class_ = "pub").text.replace(" ","").replace("\n","")
print(dic)

输出的结果为：
在这里插入图片描述
然后试错无误后，进行遍历循环，然后将数据存放到列表中

lst = []
for li in lis:
	dic = {}
	dic['标题'] = li.find("div", class_ = 'info').h2.text.replace(" ","").replace("\n","")
	dic['评分'] = li.find("span", class_ = 'rating_nums').text.replace("(","")
	dic['评价人数'] = li.find("span", class_ = 'pl').text.replace(" ","").replace("\n","").replace("(","").replace(")","")
	dic['简介'] = li.find("p").text.replace("\n",",")
	dic['其他'] = li.find("div", class_ = "pub").text.replace(" ","").replace("\n","")
	lst.append(dic)
print(lst)

输出结果为：
在这里插入图片描述

封装第二个函数

前期试错已经正常运行了，下面将过程封装成目标函数

def get_data(ui,d_h,d_c):
	'''
	【数据采集】
	ui：数据信息网页
	d_h：user-agent信息
	d_c：cookies信息
	结果：得到数据的list，每条数据用dict存储
	'''
	ri = requests.get(ui, headers = d_h, cookies = d_c)
	soup_i = BeautifulSoup(ri.text, 'lxml')
	ul = soup_i.find('ul', class_ = 'subject-list')
	lis = ul.find_all('li')

	lst = []
	for li in lis:

		dic = {}
		dic['标题'] = li.find("div", class_ = 'info').h2.text.replace(" ","").replace("\n","")
		dic['评分'] = li.find("span", class_ = 'rating_nums').text.replace("(","")
		dic['评价人数'] = li.find("span", class_ = 'pl').text.replace(" ","").replace("\n","").replace("(","").replace(")","")
		dic['简介'] = li.find("p").text.replace("\n",",")
		dic['其他'] = li.find("div", class_ = "pub").text.replace(" ","").replace("\n","")
		lst.append(dic)
	return lst

print(get_data(u1,dic_heders,dic_cookies))

输出结果和上面的结果一致，然后进行异常错误判断

datalst = []
errorlst = []
for u in urllst_1:
	try:
		datalst.extend(get_data(u,dic_heders,dic_cookies))
		print("成功采集{}条数据".format(len(datalst)))
	except:
		errorlst.append(u)
		print("页面访问失败，网址为，",u)

输出结果为：
在这里插入图片描述
分析一下报错的原因，是因为标签识别的问题，查看问题的网址的内容，发现小于10人评价的书籍是没有评分的，有的甚至没有简介，如下。解决方式：在进行“评分”和“评分人数”获取的时候，尝试不分开获取信息，对于简介的内容直接进行异常判断，看看结果
在这里插入图片描述
在这里插入图片描述
修改代码如下，将“评分”和“评价人数”直接和并起来，获得数据之后在进行数据清洗，对于没有简介内容的，直接进行异常判断处理

# dic['评分'] = li.find("span", class_ = 'rating_nums').text.replace("(","")
# dic['评价人数'] = li.find("span", class_ = 'pl').text.replace(" ","").replace("\n","").replace("(","").replace(")","")
dic['评价'] = li.find("div", class_ = 'star clearfix').text.replace(" ","").replace("\n","")
try:
	dic['简介'] = li.find("p").text.replace("\n",",")
except:
	continue

重新运行代码，输出的结果为：
在这里插入图片描述
注意：网站的信息是实时更新的，所以爬虫代码也应该定期维护一下，具体的情况就要有具体分析了

数据清洗

将数据转化为dataframe，由于要处理数据，如果再使用Sublime的话，就显得很笨重，这时候数据处理在spyder里运行

df = pd.DataFrame(datalst)
print(df)

输出的结果为：
在这里插入图片描述
先处理“评价”字段：（下面是按照评价字段进行排序，其实也是按照评分的大小进行排序）
在这里插入图片描述
由于评分这部分的缺失的数据较少，而且其评价人数也较少，这里直接采取剔除数据进行处理，可以看出“评分”为空的“评价”数据里面都是以“（”开头，因此剔除这些数据就可以筛选“评价”字段的开头第一个字符不为“（”的数据即可，代码如下

df = df[df['评价'].str[0] != "("]
print(df)

输出结果：
在这里插入图片描述
然后在处理"评分"和"评价人数"字段，以及提取价钱字段（页码不是所有的所有，所有改成提取价钱字段）

df = pd.DataFrame(datalst)

df = df[df['评价'].str[0] != '(']
df['评分'] = df['评价'].str.split("(").str[0].astype("float")
df['评价人数'] =df['评价'].str.split("(").str[1].str.split("人").str[0].astype('int')
del df['评价']
df['价格'] = df['其他'].str.split('/').str[-1]

df.to_excel("豆瓣数据爬取.xlsx",index = False)

输出的结果为：
在这里插入图片描述

全部代码及结果输出

import requests 
from bs4 import BeautifulSoup
import pandas as pd


def get_url(n):
	'''
	【分页网址url采集】函数
	n：页数参数
	结果：得到一个分页网页的list
	'''
	lst = []
	for i in range(10):
		ui = "https://book.douban.com/tag/%E7%94%B5%E5%BD%B1?start={}&type=T".format(i*20)
		#print(ui)
		lst.append(ui)
	return lst

def get_data(ui,d_h,d_c):
	'''
	【数据采集】
	ui：数据信息网页
	d_h：user-agent信息
	d_c：cookies信息
	结果：得到数据的list，每条数据用dict存储
	'''
	ri = requests.get(ui, headers = d_h, cookies = d_c)
	soup_i = BeautifulSoup(ri.text, 'lxml')
	ul = soup_i.find('ul', class_ = 'subject-list')
	lis = ul.find_all('li')

	lst = []
	for li in lis:

		dic = {}
		dic['标题'] = li.find("div", class_ = 'info').h2.text.replace(" ","").replace("\n","")
		# dic['评分'] = li.find("span", class_ = 'rating_nums').text.replace("(","")
		# dic['评价人数'] = li.find("span", class_ = 'pl').text.replace(" ","").replace("\n","").replace("(","").replace(")","")
		dic['评价'] = li.find("div", class_ = 'star clearfix').text.replace(" ","").replace("\n","")
		try:
			dic['简介'] = li.find("p").text.replace("\n",",")
		except:
			continue
		dic['其他'] = li.find("div", class_ = "pub").text.replace(" ","").replace("\n","")
		lst.append(dic)
	return lst
	

if __name__ == "__main__":
	urllst_1 = get_url(10)
	u1 = urllst_1[0]
	#print(u1)

	dic_heders = {
	   'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
	}

	dic_cookies = {}
	cookies = 'll="108296"; bid=b9z-Z1JF8wQ; _vwo_uuid_v2=DDF408830197B90007427EFEAB67DF985|b500ed9e7e3b5f6efec01c709b7000c3; douban-fav-remind=1; __yadk_uid=2D7qqvQghjfgVOD0jdPUlybUNa2MBZbz; gr_user_id=5943e535-83de-4105-b840-65b7a0cc92e1; dbcl2="150296873:VHh1cXhumGU"; push_noty_num=0; push_doumail_num=0; __utmv=30149280.15029; __gads=ID=dcc053bfe97d2b3c:T=1579101910:S=ALNI_Ma5JEn6w7PLu-iTttZOFRZbG4sHCw; ct=y; Hm_lvt_cfafef0aa0076ffb1a7838fd772f844d=1579102240; __utmz=81379588.1579138975.5.5.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmz=30149280.1579162528.9.8.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; ck=csBn; _pk_ref.100001.3ac3=%5B%22%22%2C%22%22%2C1581081161%2C%22https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DNq2xYeTOYsYNs1a4LeFRmxqwD_0zDOBN253fDrX-5wRdwrQqUpYGFSmifESD4TLN%26wd%3D%26eqid%3De7868ab7001090b7000000035e1fbf95%22%5D; _pk_ses.100001.3ac3=*; __utma=30149280.195590675.1570957615.1581050101.1581081161.16; __utmc=30149280; __utma=81379588.834351582.1571800818.1581050101.1581081161.12; __utmc=81379588; ap_v=0,6.0; gr_session_id_22c937bbd8ebd703f2d8e9445f7dfd03=b6a046c7-15eb-4e77-bc26-3a7af29e68b1; gr_cs1_b6a046c7-15eb-4e77-bc26-3a7af29e68b1=user_id%3A1; gr_session_id_22c937bbd8ebd703f2d8e9445f7dfd03_b6a046c7-15eb-4e77-bc26-3a7af29e68b1=true; _pk_id.100001.3ac3=6ec264aefc5132a2.1571800818.12.1581082472.1581050101.; __utmb=30149280.7.10.1581081161; __utmb=81379588.7.10.1581081161'
	cookies_lst = cookies.split("; ")
	for i in cookies_lst:
		dic_cookies[i.split("=")[0]] = i.split("=")[1]

	datalst = []
	errorlst = []
	for u in urllst_1:
		try:
			datalst.extend(get_data(u,dic_heders,dic_cookies))
			print("成功采集{}条数据".format(len(datalst)))
		except:
			errorlst.append(u)
			print("数据采集失败，网址是", u)

	df = pd.DataFrame(datalst)
	df = df[df['评价'].str[0]!='(']
	df['评分'] = df['评价'].str.split("(").str[0].astype("float")
	df['评价人数'] =df['评价'].str.split("(").str[1].str.split("人").str[0].astype('int')
	del df['评价']
	df['价格'] = df['其他'].str.split('/').str[-1]
	df.to_excel("豆瓣数据爬取.xlsx",index = False)

Excel文件数据如下：

在这里插入图片描述

lys_828
关注
  • 3
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python爬虫-爬虫项目实战之爬取豆瓣有关张国荣日记.zip
03-07
本教程将通过一个具体的实战项目——爬取豆瓣有关张国荣的日记，来深入理解Python爬虫的工作原理和实现方法。 首先，我们需要了解Python爬虫的基本构成。通常，一个简单的爬虫包括以下几个部分：请求（Request）、...
Python项目实战——爬虫网站项目
07-13
在这个名为"Python项目实战——爬虫网站项目"的实践中，我们深入探讨了如何利用Python的爬虫技术，结合数据可视化工具如ECharts和WordCloud，来挖掘和展示豆瓣电影Top250的数据。这个项目旨在提升对Python在实际应用...
Python爬虫爬取豆瓣不同分类书籍详细信息
2023也要一起加油鸭
04-11 2025
文章目录1.问题来源2.爬虫代码的组成3.代码实现4.运行结果 1.问题来源 这学期有一门软件开发实战的课程，我们组在做一个书籍交易平台。既然是书籍交易平台重要的图书的获取肯定必不可少，而豆瓣上的丰富的图书信息，自然就是我们需要获取资料的重要来源，由于后期项目的完成需要大量的图书信息来帮助我们完成关于知识图谱和推荐算法的应用，所以图书信息的获取就成了一件重要的事，由于没有学习过python，也是从...
【python爬虫专项（7）】爬虫实战项目一（ 豆瓣图书类别的书籍信息数据获取——爬虫逻辑1）
lys_828的博客
02-08 1902
任意一图书类别的书籍信息数据 ● 参考网址：豆瓣读书网 爬虫逻辑：【分页网页url采集】-【数据信息网页url采集】-【数据采集】 ● 针对爬虫逻辑的三步走，采用函数式编程的方式进行数据爬取 函数1： get_urls(n) → 【分页网页url采集】           ● n：页数参数      &nb...
Python基础之爬取豆瓣图书信息
chinaherolts2008的博客
08-31 4890
概述 所谓爬虫，就是帮助我们从互联网上获取相关数据并提取有用的信息。在大数据时代，爬虫是数据采集非常重要的一种手段，比人工进行查询，采集数据更加方便，更加快捷。刚开始学爬虫时，一般从静态，结构比较规范的网页入手，然后逐步深入。今天以爬取豆瓣最受关注图书为例，简述 python教程在爬虫方面的初步应用，仅供学习分享使用，如有不足之处，还请指正。 涉及知识点 如果要实现爬虫，需要掌握的Pyhton相关知识点如下所示： requests模块：requests是python实现的最简单易用的HTTP库，建议
PYTHON爬虫大作业：豆瓣读书“小说”标签下1000本书籍的爬取与分析
热门推荐
weixin_44102283的博客
07-10 1万+
PYTHON爬虫大作业：豆瓣读书“小说”标签下1000本书籍的爬取与分析项目概述数据爬取数据分析与可视化·书籍标签词云·箱线图与直方图·关联分析项目报告摘要一、数据爬取二、数据预处理三、数据存储四、数据分析五、结果与可视化六、结论 本文记录笔者大二下学期选修课数据科学导论的期末大作业，新手小白，才疏学浅，欢迎批评指正。 项目概述 本项目框架如下： 数据爬取 数据分析与可视化 项目报告 数据爬取 import requests import re from bs4 import BeautifulSou
Python爬虫入门学习实战项目（二）
散修炼丹师手记
04-11 773
爬虫入门学习实战项目——拉勾网动态数据的采集
利用python爬虫获取豆瓣读书数据建立书单
doUle_sUn的博客
03-28 7770
0. 写在前面 网络爬虫： A Web crawler, sometimes called a spider, is an Internet bot that systematically browses the World Wide Web, typically for the purpose of Web indexing (web spidering) 本文参考了网上教程、...
Python爬虫程序源代码爬取豆瓣TOP250排行榜数据电影名称评分导演演员等信息
最新发布
12-21
Python爬虫程序源代码爬取豆瓣TOP250排行榜数据电影名称评分导演演员等信息 知识领域： 数据爬取、数据分析、Python编程技术关键词： Python、网络爬虫、数据抓取、数据处理内容关键词： 豆瓣电影、排行榜、数据...
一个简单的python爬虫程序 爬取豆瓣热度Top100以内的电影信息
09-20
在本文中，我们将探讨如何使用Python编写一个简单的爬虫程序，以抓取豆瓣电影热度Top100内的电影信息。首先，我们需要理解网络爬虫的基本概念。网络爬虫是一种自动化程序，它模仿人类浏览网站的行为，以获取并处理有...
Python爬取豆瓣图书信息并保存到本地
10-09
Python开发爬取豆瓣图书信息，并保存到本地，已经过测试，欢迎交流！
爬取的豆瓣图书数据
03-15
2300+数据，包括：ISBN 全球唯一图书编号；Title 书名；Author 作者；Author_intro 作者简介；Tag 标签;NumRaters 评分人数;Average 评分;Id 豆瓣内该书Id;Binding 精装/简装;Pages 页数;Publisher 出版商;Origin_title 图书原名 Url 豆瓣链接;Image 图书豆瓣图片;Summary 图书概述;
Python爬取豆瓣图书信息
12-19
爬取指定标签List下评分8.5分以上的图书信息，包括书名、作者、评分、简介，并保存到excel，以标签分类，放到不同的sheet中。核心代码： title= book.find_element_by_xpath('.//a[1]').text #获取书名 zuozhe= book.find_element_by_xpath('.//div[1]').text.split('/',1)[0] jianjie= book.find_element_by_xpath('.//p[1]').text #获取简介 worksheet.write(i,0,fenshu); #分数写入第i行的第一列 worksheet.write(i,1,title); #书名写入第i行的第二列 worksheet.write(i,2,zuozhe); #作者写入第i行的第三列 worksheet.write(i,3,jianjie); #简介写入第i行的第四列
Python爬虫实战：分析《战狼2》豆瓣影评
09-20
本文主要介绍了如何使用Python爬虫技术来分析《战狼2》在豆瓣平台上的影评。作者采用了Python 3.5版本进行实战操作。爬虫实战主要包括三个步骤：抓取网页数据、清理数据和用词云进行展示。 首先，为了抓取网页数据...
Python爬虫爬取豆瓣书籍数据
Python知识圈
07-27 1004
“阅读文本大概需要 5 分钟 此文首发于「brucepk」公众号，欢迎大家去关注。 炎热的夏天，酷暑难挡，难免会心烦意燥，睡前随手拿起枕边看过很多遍的「平凡的世界」。看书，会让躁动的心瞬间安静下来。 生活不能等待别人来安排，要自己去争取和奋斗；而不论其结果是喜是悲，但可以慰藉的是，你总不枉在这世界上活了一场。有了这样的认识，你就会珍重生活，而不会玩世不恭；同时，也会给人自身注入一...
python爬虫-Requests教程
佐少的博客
10-25 1690
Requests爬虫教程 一、常用操作 1.加载相关模块 import requests from bs4 import BeautifulSoup import pandas as pd 2.设置初始URL和headers url = 'http://my.yingjiesheng.com/index.php/personal/xjhinfo.htm/?page=1&cid=&...
python爬虫案例——爬取豆瓣图书信息并保存
qq_45434461的博客
08-01 5856
python爬虫案例——爬取豆瓣图书信息并保存 所需基础 requests库的使用 BeautifulSoup库的使用 re库的使用和简单的正则表达式 tqdm（进度条）库的使用 pandas库创建DataFrame和保存Csv操作 直接上代码，注释写的比较详细 from bs4 import BeautifulSoup import requests import re #import threading #import want2url import pandas as pd from tqd
python爬虫爬取豆瓣读书
白得不能再白
01-20 2811
python的课程设计，我爬取的是豆瓣的图书 设计题目:  豆瓣读书的Python爬虫 一、需求分析 由于豆瓣上的图书良莠不齐，很难一下选择适合我们的图书，所以我想通过Python的爬虫程序，实现对豆瓣读书页面信息的抓取，获取图书的信息，并对一部分图书进行分析，同时，为了防止以后如果需要做数据对比而又再费时间和精力去爬取数据，我们应将每次爬取的数据存入到设计好的相关的数据库中，以备不时之
python爬虫（案例）——豆瓣读书爬虫
xiaoping__的博客
06-29 8512
文章目录要爬取的内容一级页面（分类中图书的列表）二级页面（每本书的详情页）本案例中的防封ip小技巧多用几个user-agent（随机抽取）设置间隔时间完整代码 本篇文章为豆瓣读书爬虫的案例，采用了xpath解析式，比较基础，未涉及其他深入的爬虫知识 要爬取的内容 根据豆瓣图书中不同的分类爬取图书的相关信息 ( 每个分类豆瓣最多给50页数据 ） 一级页面（分类中图书的列表） 爬取 ： 书名（文本和url），作者，出版社，出版日期，评价数，缩略图链接，短简介 二级页面（每本书的详情页） 通过一级页面 书名
Python爬虫实战(3)-爬取豆瓣音乐Top250数据(超详细)
06-10
非常好的问题！这是一个非常实用的 Python 爬虫实战项目。以下是一些关键步骤： 1. 导入相关库：我们需要使用 requests 库发送请求并获取响应，使用 BeautifulSoup 库解析 HTML 页面。 2. 发送请求获取页面：我们需要发送 GET 请求，获取豆瓣音乐 Top250 页面的 HTML 代码。 3. 解析 HTML 页面：我们使用 BeautifulSoup 库来解析 HTML 代码，并获取需要的数据。 4. 存储数据：我们需要将获取到的数据存储在本地文件或数据库中，以便后续使用。 具体实现过程详见下方链接： https://blog.csdn.net/weixin_44841652/article/details/107623965 希望这个回答能够帮助到你！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lys_828

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值