BeautifulSoup解析库select方法实例——获取企业信息

最新推荐文章于 2024-02-24 19:08:37 发布
最新推荐文章于 2024-02-24 19:08:37 发布
阅读量303 收藏
点赞数

1、requests简单用法

2、解析HTML库——BeautifulSoup简介

使用requests获取的是HTML页面，在HTML中除了html标记如，<p>外，还有很多 CSS代码。可以使用BeautifulSoup库解析HTML，利用BeautifulSoup对象的select方法可以筛选出css标记的内容。有如下几种方法获取内容：<br/> ①通过标签名查找<br/> ②通过类名查找<br/> ③通过id名查找<br/> ④组合查找。组合查找即和写 class 文件时，标签名与类名、id名进行的组合原理是一样的，例如查找p标签中，id等于link1的内容，二者不要用空格分开。<br/> ⑤属性查找。查找时还可以加入属性元素，属性需要用中括号括起来，注意属性和标签属于同一节点，所以中间不能加空格，否则会无法匹配到。不在同一节点的使用空格隔开，同一节点的不加空格。</p>

以下面的HTML代码为例：

分析代码如下：

输出结果如下：

3、实例：爬取https://m.tianyancha.com/search/oc35-s2/p1中企业信息。

有了以上知识后，我们可以利用上述知识获取企业信息，在天眼查网站里有各类企业信息，打开https://m.tianyancha.com/search/oc35-s2，如下图是页面信息

我们的任务是获取企业信息，具体步骤如下：

1）获取页面信息，用google浏览器打开的页面中右键打开检查，依次点开 network–doc–headers中的Request URL，这个地址是我们要爬取页面的地址。

用res=requests.get(‘https://m.tianyancha.com/search/oc35-s2/’) 返回requests对象得到该页面所有内容。

2）分析内容，获取内容 查看源码后发现我们要找企业信息在一个“

”容器中，可以用select方法获取所有内容；

公司名称在“

杭叉集团股份有限公司
”中，而其他信息都在
中,如下图

参考代码：

代码运行结果：

作者：Python_小屋
来源：CSDN
原文：https://blog.csdn.net/oh5W6HinUg43JvRhhB/article/details/79102974
版权声明：本文为博主原创文章，转载请附上博文链接！

红馆
关注
Python爬虫库BeautifulSoup的介绍与简单使用实例
09-18
### Python爬虫库BeautifulSoup的介绍与简单使用实例 #### 一、介绍 **BeautifulSoup** 是一个功能强大且易于使用的Python库，主要用于从HTML或XML文件中提取数据。它支持多种解析器，并且能够有效地处理各种网页...
python爬虫：BeautifulSoup 使用select方法详解
起当风萧的博客
04-06 1万+
转载自 （“**[https://www.cnblogs.com/yizhenfeng168/p/6979339.html](https://www.cnblogs.com/yizhenfeng168/p/6979339.html)**”）。 ```html 1 html = """ 2 <html><head><title>The Dormouse's story</title></head> 3 <body> 4 <p...
Beautiful Soup的用法（五）：select的使用
热门推荐
haleycat的博客
03-07 3万+
原文地址：http://www.bugingcode.com/blog/beautiful_soup_select.html select 的功能跟find和find_all 一样用来选取特定的标签，它的选取规则依赖于css，我们把它叫做css选择器，如果之前有接触过jquery ，可以发现select的选取规则和jquery有点像。 通过标签名查找 在进行过滤时标签名不加任何修饰，如下...
【RPA开发】Beautiful Soup 使用详解
尹煜的博客
04-26 2935
简单来说，Beautiful Soup 是 Python 用于解析 HTML 和 XML 文件的第三方库，可以从 HTML 和 XML 文件中提取数据。官方网址中文文档Beautiful Soup 中文文档安装Beautiful Soup 3 目前已经停止开发，官方支持 Beautiful Soup 4，并且将其移植到 BS4，也就是说我们需要 import bs4，本文 beautifulsoup4 版本 = 4.12.2。Beautiful Soup提供了多种搜索方式，可以轻松定位所需的元素。
BeautifulSoup中的find_all()及select()查找方法
最新发布
book_dw5189的博客
02-24 3460
BeautifulSoup中的find_all()及select()查找方法
【python爬虫】BeautifulSoup库的选择器select()方法
masterbu的博客
02-20 1万+
一般使用BeautififulSoup解析得到的Soup文档可以使用find_all()、find()、select() 方法定位所需要的元素。find_all()是获得list列表、find() 是获得map一条数据。select() 是根据选择器可以获得多条也可以获得单条数据。一般最常用的是find_all() 和 find() 两个参数。 select()方法的使用 从页面...
Python利用BeautifulSoup解析Html的方法示例
09-21
在使用BeautifulSoup之前，需要先安装它及其相关的解析器库。可以通过pip命令来进行安装： ```bash pip install beautifulsoup4 pip install lxml pip install html5lib ``` 其中，`lxml` 和 `html5lib` 是两个...
python爬虫之BeautifulSoup 使用select方法详解
09-21
### Python爬虫之BeautifulSoup使用select方法详解 在Python网络爬虫开发中，`BeautifulSoup`库因其简单易用的特点而被广泛应用于HTML和XML文档的解析与处理。`select`方法作为`BeautifulSoup`中一种强大的选择器，...
python使用BeautifulSoup分析网页信息的方法
09-22
接下来，指定要查询的URL地址，通过`urllib2.urlopen(url)`方法获取网页数据，并将内容赋值给变量page。之后，导入BeautifulSoup库并使用它来解析page变量中的HTML内容。 在解析完毕后，可以通过调用不同的...
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
本实例将深入探讨如何使用Python的BeautifulSoup库与urllib.request模块来实现一个基本的网页抓取功能。 首先，`urllib.request`是Python标准库中的一个模块，用于处理URL相关的请求。在爬虫领域，它主要负责发起...
强大的BeautifulSoup select选择器
weixin_43837855的博客
06-12 1149
select的功能跟find和find_all 一样用来选取特定的标签，它的选取规则依赖于css，我们把它叫做css选择器 通过标签查找，返回含有此标签的语句会按照列表的形式返回 print(soup.select('title')) print(soup.select('meta')) print(soup.select('h3')) 输出： [<title>百度新闻——海量中文资讯平台</title>] [<meta content="text/html;charset
python爬虫select用法_python爬虫常用库之BeautifulSoup详解
weixin_32344641的博客
01-14 940
python爬虫常用库之BeautifulSoup详解By 日常学python这是日常学python的第16篇原创文章经过了前面几篇文章的学习，估计你已经会爬不少中小型网站了。但是有人说，前面的正则很难唉，学不好。正则的确很难，有人说过：如果一个问题用正则解决，那么就变成了两个问题。所以说学不会是很正常的，不怕，除了正则，我们还可以用另外一个强大的库来解析html。所以，今天的主题就是来学习这个...
BeautifulSoup | Tag | select | 查找标签
Heart_for_Ling的博客
12-22 4348
BeautifulSoup提供了强大的解码HTML查找标签的功能，它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间，因此我们有理由熟悉SP库的搜索方法！
BeautifulSoup select函数
weixin_43765541的博客
05-22 619
其中，`soup`是BeautifulSoup对象，`selector`是一个字符串，表示要选择的元素的CSS选择器。- 选择后代元素：`ancestor descendant`，例如`body p`（选择body元素下的所有p元素）- 选择类名：`.class`，例如`.container`、`.title`- 选择ID：`#id`，例如`#header`、`#content`- 选择元素类型：`tag`，例如`div`、`p`、`a`这将打印所有匹配选择器条件的`h1`元素的文本内容。
python爬虫之 BeautifulSoup4库 select方法 获取文本内容
m0_53762615的博客
05-21 3342
安装BeautifulSoup4库：pip install beautifulsoup4 导入模块：from bs4 import BeautifulSoup 使用css选择器的语法，可以使用select方法。 几种常用的css选择器方法： 例子： 1.通过标签名查找 2.通过id查找 3.组合查找 5.通过属性查找： 获取内容 .attrs 获取文本内容 获取属性值
python爬虫常用方法中，beautiful_soup解析的select方法，xpath，json写法的对比
weixin_55579895的博客
09-28 1242
beautiful_soup解析的select方法 是常见的beautifulsoup用法，select（返回的是列表值）可以查询标签，id，class，层级选择器，组选择器，属性选择器。。。 附上一个常见用法的汇总和实战 python使用BeautifulSoup解析豆瓣读书网页并获取相关数值https://blog.csdn.net/weixin_55579895/article/details/120457867?spm=1001.2014.3001.5502 python爬虫使用beautiful
BeautifulSoup学习
ysy_1_2的博客
03-26 791
1.BeautifulSoup是第三方的工具,它包含在一个名称为bs4的文件包中,需要另外安装,安装很简单,在命令行窗体中进入python的安装目录,在进入Scripts子目录.找到pip程序,执行: pip install bs4 安装成功后在python的命令窗口中执行语句: from bs4 import BeautifulSoup 没报错安装成功. HTML缺失根元素是Beautifu...
python获取下拉菜单内容_Web scrape获取下拉菜单数据python
weixin_39864387的博客
12-18 746
I am trying to get a list of all countries in the webpage https://www.nexmo.com/products/sms. I see the list is displayed in the drop-down. After inspecting the page, I tried the following code but I ...
soup.select()方法详解
XTY00的博客
11-12 9339
1 html = """ 2 &lt;html&gt;&lt;head&gt;&lt;title&gt;The Dormouse's story&lt;/title&gt;&lt;/head&gt; 3 &lt;body&gt; 4 &lt;p class="title" name="dromouse"&gt;&
Python BeautifulSoup库：入门与实战解析
3. lxml XML解析器：专为XML设计，是唯一支持XML解析的BeautifulSoup解析器，同样需要额外安装C语言库。 4. html5lib解析器：提供最好的容错性，以浏览器的方式解析文档，生成的HTML5格式文档，但解析速度较慢，不...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值