BeautifulSoup+requests爬取产品成分表

最新推荐文章于 2022-11-13 15:07:07 发布
最新推荐文章于 2022-11-13 15:07:07 发布
阅读量286 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxy1511/article/details/83752066
版权
本文介绍了如何利用BeautifulSoup和requests库从网页中抓取产品成分信息。通过分析网页请求，找到包含成分信息的HTML元素，然后编写Python代码进行爬取并打印所有成分。
摘要由CSDN通过智能技术生成

以下省去安装（BeautifulSoup、request）模块的安装步骤

1、首先我们要打开产品所在的web

2、按下F12，点击network找到产品成分表所在的请求中，以下可以看出全部信息都是嵌在一个html网页里面

3、然后我们需要找到request url和request headers

4、点击左上角的图标查找元素可以发现，每一个我们要找的成分元素都是在<td class="td1">里面的

5、因此我们整理思路如下：

a、首先将request url找出来

b、然后把request header找出来

c、然后把成分所在的位置找出来<td class="td1">

d、最后将所有的成分全部打印出来

5、根据步骤4的思路我们就可以开始码代码了

# -*- coding:u

最低0.47元/天 解锁文章
永不放弃的慢行者
关注
Python爬虫--BeautifulSoup4教程、练习
a_hui_tai_lang的博客
09-12 1930
代码放在GitHub上，https://github.com/LoyalWilliams/python-learning.git 以上具体代码在目录/crawler/base/urllib2_re_xml/ 另外本人有点缺钱，有啥私活项目，可以邮箱联系 我的邮箱：loyalwilliams@163.com...
BeautifulSoup + Request 爬虫实践记录
嫌疑人X的解忧杂货店
03-12 523
算法的实现先暂时告一段落，最近有些忙。下面介绍一下最近在干的东西---数据挖掘之数据获取之爬虫。爬虫：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其主要目的就是爬取一定的数据。本次的爬虫，目的是爬取美国的国情咨文。这个网站http://ww...
python爬虫 常用套路（requests+BeautifulSoup）
大爽老师的博客
12-31 366
一般来讲，简单的爬虫，主要是做两件事 1 - 获取网页内容 2 - 分析网页内容 对于python而言，常常使用requests库去做1（获取网页内容 ）， 使用BeautifulSoup库或者re库做2（分析网页内容） 一、获取网页内容 （使用requests） 对于简单的网页，不需要登录的那种，获取起来很简单 代码如下 import requests def get_url_html(url): r = requests.get(url) r.raise_for_statu.
Python爬虫小实践：使用BeautifulSoup+Request爬取CSDN博客的个人基本信息
HW140701的博客
02-13 4967
好久都没有动Python了，自从在网上买了《Python网络数据采集》这本书之后一直没有时间写自己的小的Demo,今天再网络上无意中看见 http://www.cnblogs.com/mfryf/p/3695844.html： 开发记录_自学Python写爬虫程序爬取csdn个人博客信息 这篇博客，自己想要不花一个小时复习下BeutifulSoup，然后实现与上面的那个博客一模一样的功...
【python爬虫】BeautifulSoup+request实现房源信息至Excel
flyskymood的博客
03-05 858
request，BeautifulSoup 对静态网页的请求
Python requests+bs4爬取中药数据库TCMSP的资源获得清肺排毒汤的靶向基因(曲线救国)
yeahMeng的博客
04-07 5048
Python requests+bs4 爬取TCMSP的资源获得清肺排毒汤的靶向基因-----曲线救国 为研究清肺排毒汤的中药材对于新冠肺炎的作用机制，需要收集相关数据，于是将目光洒向了TCMSP。。 检索首页是这样的： 接下来用一味药材进行检索。 中药材检索界面获取 以清肺排毒汤中的麻黄为例，进行检索后它的界面是这样的，注意观察url： http://tcmspw.com/tcmspsearc...
python食物数据爬取及分析（源码、爬取数据、数据可视化图表、报告）
01-08
本项目是基于Python进行的一次食物数据爬取与分析的实践，主要涵盖了网络爬虫、数据处理和数据可视化等核心知识点。在这个过程中，学生将学习到如何利用Python库获取网络上的公开数据，对数据进行清洗、整理，并通过...
new_300_300_爬取英为财情网站新闻_blind8w6_
09-30
英为财情网站提供了丰富的财经信息，包括实时股票报价、市场数据、新闻报道等，爬取这些信息可以帮助用户了解沪深300指数成分股的相关新闻动态，进一步分析其对市场的影响。 从标签来看，"300"再次强调了沪深300...
python爬取上证50ETF成分股信息
weixin_41324527的博客
12-17 1707
首先获取整个界面的html内容， url = "http://data.eastmoney.com/other/index/sz50.html" r = requests.get(url) demo = r.content 构建BeautifulSoup对象， soup = BeautifulSoup(demo, 'lxml') 我们可以看到想要的数据内容是在 第14个script标签中的， script = str(soup.find_all("script")[14]) 使用re正则匹配将真正的.
个人健康每日所需营养成分SQL(内含Python抓取脚本)
11-28
可以根据个人身高、体重、年龄、活动强度，确定相应的每日所需摄入的能量、蛋白质、脂肪、钠、碳水化合物等营养成分数量。
食物营养查询和挑选
09-19
可快速查询食物的多种营养成分，并可进行筛选比对，绿色软件，无需安装，解压即可运行
BeautifulSoup 爬取货物名和价格
zzplcch的博客
05-22 703
转行小白，如果有问题或者建议，欢迎留言或者私信import requestsfrom bs4 import BeautifulSoupheader = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'...
爬虫之requests+BeautifulSoup详解
weixin_30549657的博客
02-27 2450
简介 Python标准库中提供了：urllib、urllib2、httplib等模块以供Http请求，但是，它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。 Requests 是使用 Apache2 Licensed 许可证的 基于Python开发的HTTP 库，其在Python内置模块的基础上进行了高度的封装，从而使得...
第14.16节 爬虫实战2：赠人玫瑰，手留余香！ request+BeautifulSoup实现csdn博文自动点赞
老猿Python
09-16 1232
写在前面：本文仅供参考学习，请勿用作它途，禁止转载！ 在《第14.14节 爬虫实战准备：csdn博文点赞过程http请求和响应信息分析》老猿分析了csdn博文点赞处理的http请求和响应报文，在《第14.15节 爬虫实战1：使用Python和selenium实现csdn博文点赞》中通过selenium方式实现了博文自动点赞，但selenium方式老猿觉得并不是一个真正的爬虫实现方式，因此本节老猿将...
Python爬虫利器：Beautiful Soup
weixin_30466953的博客
12-02 173
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。使用它来处理HTML页面就像JavaScript代码操作HTML DOM树一样方便。官方中文文档地址 1. 安装 1.1 安装 Beautiful Soup Beautiful Soup3 目前已经停止维护，推荐使用 Beautiful Soup4，现在已经被移植到 bs4，导入的时候需要从 bs4 导入。安...
【Python 技能树共建】Beautiful Soup
AudiA6LV6的博客
09-20 259
初学 Python 爬虫，十之八九你采集的目标是网页，因此快速定位到网页内容，就成为你面临的第一道障碍，本篇博客就为你详细说明最易上手的网页元素定位术，学完就会系列。模块，因此我们用来做测试采集的站点，也是其官网（现阶段爬虫采集越来越严格，很多站点不能在采集了，很容易被封杀，只能学谁就采集谁了）方法，可以将 HTML 标签进行格式化操作，这样你就可以在存储到外部文件的时候，让其 HTML 代码进行美观。类的构造函数中传递的两个参数，一个是待解析的字符串，另一个是解析器，官方建议的是。
【Python课程作业】食物数据的爬取及分析（详细介绍及分析）
一棵灬大树的博客
11-13 4652
Python课程大作业，获取网页食物数据并进行可视化分析
BeautifulSoup教程
weixin_45890771的博客
11-18 2601
BeautifulSoup 是用于解析 HTML 和 XML 文档的 Python 库。 它通常用于网页抓取。 BeautifulSoup 将复杂的 HTML 文档转换为复杂的 Python 对象树，例如标记，可导航字符串或注释。 安装 BeautifulSoup 我们使用pip3命令安装必要的模块。 $ sudo pip3 install lxml 我们需要安装 BeautifulSoup 使用的lxml模块。 $ sudo pip3 install bs4 上面的命令将安装 Beau
python爬取豆瓣评论_python+requests爬取豆瓣歌曲评论
最新发布
05-19
好的，以下是爬取豆瓣歌曲评论的Python代码示例： 首先，我们需要导入需要的库：requests、BeautifulSoup和re。 ```python import requests from bs4 import BeautifulSoup import re ``` 然后，我们需要定义一个函数来获取评论。这个函数将获取豆瓣歌曲页面上的所有评论，并返回一个评论列表。 ```python def get_comments(): url = 'https://music.douban.com/subject/34926236/comments' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') comments = [] pattern = re.compile('<p class="">(.*?)</p>', re.S) results = re.findall(pattern, str(soup)) for result in results: comment = result.strip() comments.append(comment) return comments ``` 接下来，我们可以调用这个函数，并打印出所有的评论。 ```python comments = get_comments() for comment in comments: print(comment) ``` 这样就可以爬取豆瓣歌曲评论了。需要注意的是，豆瓣有反爬虫机制，如果请求过于频繁，可能会被封禁IP。因此，在实际应用中，我们需要控制爬取频率，建议使用代理IP。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值