python爬虫之Beautifulsoup库

最新推荐文章于 2021-10-26 16:53:11 发布
最新推荐文章于 2021-10-26 16:53:11 发布
阅读量211 收藏
点赞数
分类专栏： python 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29983883/article/details/105608116
版权

以下所有的使用的text内容如下：

text='''

<div class="el">
    <p class="t1 ">
        <em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
        <input class="checkbox" type="checkbox" name="delivery_jobid" value="120207510" jt="0" style="display:none" />
        <span>
            <a target="_blank" title="python教师" href="https://jobs.51job.com/kunming-whq/120207510.html?s=01&t=0"  οnmοusedοwn="">
                python教师                </a>
        </span>
                                                                </p>
    <span class="t2"><a target="_blank" title="云南通识教育信息咨询有限公司" href="https://jobs.51job.com/all/co5751385.html">云南通识教育信息咨询有限公司</a></span>
    <span class="t3">昆明-五华区</span>
    <span class="t4">4.5-6千/月</span>
    <span class="t5">03-29</span>
</div>
<div class="el">
    <p class="t1 ">
        <em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
        <input class="checkbox" type="checkbox" name="delivery_jobid" value="118417429" jt="0" style="display:none" />
        <span>
            <a target="_blank" title="Python工程师" href="https://jobs.51job.com/kunming-whq/118417429.html?s=01&t=0"  οnmοusedοwn="">
                Python工程师                </a>
        </span>
                                                                </p>
    <span class="t2"><a target="_blank" title="云南蓝典科技股份有限公司" href="https://jobs.51job.com/all/co4646964.html">云南蓝典科技股份有限公司</a></span>
    <span class="t3">昆明-五华区</span>
    <span class="t4">4-6千/月</span>
    <span class="t5">03-27</span>
</div>
<div class="el">
    <p class="t1 ">
        <em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
        <input class="checkbox" type="checkbox" name="delivery_jobid" value="120703493" jt="0" style="display:none" />
        <span>
            <a target="_blank" title="YX00-Python开发工程师" href="https://jobs.51job.com/kunming-gdq/120703493.html?s=01&t=0"  οnmοusedοwn="">
                YX00-Python开发工程师                </a>
        </span>
                                                                </p>
    <span class="t2"><a target="_blank" title="云南远信科技有限公司" href="https://jobs.51job.com/all/co2256249.html">云南远信科技有限公司</a></span>
    <span class="t3">昆明-官渡区</span>
    <span class="t4">4-8千/月</span>
    <span class="t5">03-27</span>
</div>
<div class="el">
    <p class="t1 ">
        <em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
        <input class="checkbox" type="checkbox" name="delivery_jobid" value="117230454" jt="0" style="display:none" />
        <span>
            <a target="_blank" title="Python开发工程师" href="https://jobs.51job.com/kunming/117230454.html?s=01&t=0"  οnmοusedοwn="">
                Python开发工程师                </a>
        </span>
                                                                </p>
    <span class="t2"><a target="_blank" title="云南紫米科技有限公司" href="https://jobs.51job.com/all/co4672988.html">云南紫米科技有限公司</a></span>
    <span class="t3">昆明</span>
    <span class="t4">0.8-1万/月</span>
    <span class="t5">03-27</span>
</div>
<div class="el">
    <p class="t1 ">
        <em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
        <input class="checkbox" type="checkbox" name="delivery_jobid" value="117148016" jt="0" style="display:none" />
        <span>
            <a target="_blank" title="Python高级开发工程师" href="https://jobs.51job.com/kunming-plq/117148016.html?s=01&t=0"  οnmοusedοwn="">
                Python高级开发工程师                </a>
        </span>
                                                                </p>
    <span class="t2"><a target="_blank" title="微加普惠金融服务（深圳）有限公司" href="https://jobs.51job.com/all/co5633133.html">微加普惠金融服务（深圳）有限公司...</a></span>
    <span class="t3">昆明-盘龙区</span>
    <span class="t4">1-2万/月</span>
    <span class="t5">03-27</span>
</div>
<div class="el">
    <p class="t1 ">
        <em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
        <input class="checkbox" type="checkbox" name="delivery_jobid" value="118740280" jt="0" style="display:none" />
        <span>
            <a target="_blank" title="Java/大数据/python 讲师" href="https://jobs.51job.com/kunming/118740280.html?s=01&t=0"  οnmοusedοwn="">
                Java/大数据/python 讲师                </a>
        </span>
                                                                </p>
    <span class="t2"><a target="_blank" title="云南新华计算机中等专业学校" href="https://jobs.51job.com/all/co3757091.html">云南新华计算机中等专业学校</a></span>
    <span class="t3">昆明</span>
    <span class="t4">0.5-1万/月</span>
    <span class="t5">03-27</span>
</div>
<div class="el">
    <p class="t1 ">
        <em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
        <input class="checkbox" type="checkbox" name="delivery_jobid" value="104297888" jt="0" style="display:none" />
        <span>
            <a target="_blank" title="Python开发工程师" href="https://jobs.51job.com/kunming-whq/104297888.html?s=01&t=0"  οnmοusedοwn="">
                Python开发工程师                </a>
        </span>
                                                                </p>
    <span class="t2"><a target="_blank" title="云南创至互达网络科技有限公司" href="https://jobs.51job.com/all/co4670824.html">云南创至互达网络科技有限公司</a></span>
    <span class="t3">昆明-五华区</span>
    <span class="t4">0.6-1万/月</span>
    <span class="t5">03-19</span>
</div>
<div class="el">
    <p class="t1 ">
        <em class="check" name="delivery_em" οnclick="checkboxClick(this)"></em>
        <input class="checkbox" type="checkbox" name="delivery_jobid" value="120456484" jt="0" style="display:none" />
        <span>
            <a target="_blank" title="Python开发工程师" href="https://jobs.51job.com/kunming/120456484.html?s=01&t=0"  οnmοusedοwn="">
                Python开发工程师                </a>
        </span>
                                                                </p>
    <span class="t2"><a target="_blank" title="云思华盛（北京）科技有限公司" href="https://jobs.51job.com/all/co2898169.html">云思华盛（北京）科技有限公司</a></span>
    <span class="t3">昆明</span>
    <span class="t4">10-15万/年</span>
    <span class="t5">03-14</span>
</div>

'''

获取所有的p标签的内容

from bs4 import  BeautifulSoup

html = BeautifulSoup(text,"lxml")

p = html.find_all("p")

for v in p:
    print(v)

获取第二个p标签内容

p  = html.find_all("p",limit=2)[1]
print(p)

find方法和find_all方法的不同

find方法返回第一个符号查找对象的tag
find_all方法是将所有的符合查找对象的内容作为数组返回

获取class等于check，name等于delivery_em的em标签

# 错误的语法：emList = soup.find_all('em', class_="check" ,name="delivery_em" )
emList = html.find_all('em', attrs = {'class':"check" ,'name':"delivery_em"} )
for em in emList:
    print(em)
    print("=" * 40)

获取class为t1的p标签下的所有a标签的href属性

html = BeautifulSoup(text,'lxml')
pList = html.find_all('p',class_='t1')
for p in pList:
    aList = p.find_all('a')
    for a in aList:
        # 1）通过下标操作（推荐使用，语法简洁明了）
        href = a['href']
        print(href)
        print("=" * 40)

        # 2）通过attrs属性
        # href = a.attrs['href']
        # print(href)
        # print("=" * 40)

获取文本内容

divs = html.find_all('div')[1:]
infoSet = list()
for div in divs:
    info = {}
    infos = list(div.stripped_strings) # div.stripped_strings返回的是一个生成器
    info['job'] = infos[0]
    info['company'] = infos[1]
    info['address'] = infos[2]
    info['salary'] = infos[3]
    info['ReleaseDate'] = infos[4]
    infoSet.append(info)
print(infoSet)

strings和stripped_strings、string属性以及get_text方法

  • string:获取某个标签下的非标签字符串，返回的是个字符串。
  • strings:获取某个标签下的子孙非标签字符串，返回的是个生成器。
  • stripped_strings：获取某个标签下的子孙非标签字符串，会去掉空白字符，返回的是个生成器。
  • get_text：获取某个标签下的子孙非标签字符串，不是以生成器的形式返回
小瓶盖的猪猪侠
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基础学习——BeautifulSoup篇(1)
cjy1041403539的博客
03-18 328
BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。换句话说，它是我们解析网页的利器 欢迎关注公众号：老白和他的爬虫 BeautifulSoup3 目前已经停止开发,今天学习的是BeautifulSoup4 1.简单入手 我们以豆瓣网为例，编辑下面这段代码 from bs4 import Be...
python3用BeautifulSoup用字典的方法抓取a标签内的数据
weixin_34351321的博客
11-13 2838
# -*- coding:utf-8 -*- #python 2.7 #XiaoDeng #http://tieba.baidu.com/p/2460150866 #标签操作 from bs4 import BeautifulSoup import urllib.request import re #如果是网址，可以用这个办法来读取网页 #html_doc = "http://tieba...
beautifulsoup提取所有<a>标签内容 Python
热门推荐
slhlde的博客
07-30 2万+
# -*- coding:utf-8 -*- #python 2.7 #XiaoDeng #http://tieba.baidu.com/p/2460150866 #标签操作 from bs4 import BeautifulSoup import urllib.request import re #如果是网址，可以用这个办法来读取网页 #html_doc = "http://tieba...
beautifulsoup获取属性_beautifulsoup 获取a(tag)的属性href
weixin_39846364的博客
12-19 2595
&lpar;转&rpar; TexturePacker 3&period;0 使用教程著名的TexturePacker 已经升级到3.0了,下载地址: http://www.codeandweb.com/texturepacker 免费 license 申请地址: http://www ...大型B2B网站开发手记 2刚开始做功能的时候,发现有个“面包屑”导航的功能穿插到了...
Python爬虫之BeautifulSoup库
12-22
文章目录1、BeautifulSoup库的介绍2、常用API介绍2.1、prettify()2.2、简单选择元素并获取属性、内容2.3、多级选择、关联选择2.4、find_all()等方法2.5、CSS选择器3、总结 1、BeautifulSoup库的介绍   因为HTML...
python爬虫之BeautifulSoup 使用select方法详解
09-21
本篇文章主要介绍了python爬虫之BeautifulSoup 使用select方法详解，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Python爬虫库BeautifulSoup的介绍与简单使用实例
01-20
BeautifulSoup库是灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。 Python常用解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup...
Python爬虫包BeautifulSoup简介与安装（一）
09-20
主要为大家详细介绍了Python爬虫包BeautifulSoup的简介与安装，具有一定的参考价值，感兴趣的朋友可以参考一下
python爬虫学习笔记之Beautifulsoup模块用法详解
09-17
**Python 爬虫Beautifulsoup模块详解** 在Python爬虫领域，Beautifulsoup是一个不可或缺的工具，它是一个用于从HTML或XML文件中提取数据的库。它提供了简单的API，使得开发者可以方便地对网页进行导航、搜索和修改...
BeautifulSoup 获取 a标签里的文本内容
无梦生7的博客
04-04 1万+
说明 想要获取 a标签里的单词如下所示。 代码 from bs4 import BeautifulSoup f = open("word.txt", "r") # 设置文件对象 html = f.read() # 将txt文件的所有内容读入到字符串html中 soup = BeautifulSoup(html, 'lxml') # 获取a标签里的文本内容 for item in sou...
Java面向对象实现员工管理系统（利用集合存储数据实现员工模块和部门模块）
qq_44068659的博客
10-26 2136
java学习代码练习，简单易懂 员工实体类Employee package lx1025; public class Employee { private String name; private String sex; private int age; private float salary; //薪资 private String did; //所在部门编号 public String getName() { return na
emwin 5.4.4 listwheel用法
CECEHANG的博客
07-17 1826
消息列表： 消息 描述 WM_NOTIFICATION_CLICKED 控件被点击 WM_NOTIFICATION_RELEASED 控件被释放 WM_NOTIFICATION_MOVED_OUT 控件被点击，指针移出控件但没被释放 WM_NOTIFICATION_SEL_CHANGED 控件选中的内容被改变 常用函数 LISTWHEEL_A...
<a>标签作用以及target属性
weixin_30619101的博客
12-05 495
<a>标签的target属性大致有这几种： （1）_blank （2）_self （3）_parent （4）_top ------------------------作用1：超链接-------------------------------------------- 1、<a href="https://www.baidu.com/" target="_blank...
Python---BeautifulSoup 简单的爬虫实例
niedongri的博客
04-28 4119
通过Python BeautifulSoup实现爬虫，爬虫实例介绍
python 爬取td标签对应的值
zhaoyangjian724的专栏
12-23 3628
[root@yyjk /tmp]#cat a2.py # !/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 import urllib import cookielib import json import httplib import re import requests import StringIO import time from lxml import etree s = requests.session() print s..
python - BeautifulSoup中的find()和findAll()
小沫_jie的博客
11-30 1万+
内容取自《python 网络数据采集》
AttributeError: ‘DataFrame‘ object has no attribute ‘ix‘
qq_29983883的博客
04-24 1万+
问题原因 pandas版本0.20.0及其以后版本中，ix已经不被推荐使用 问题解决 使用loc和iloc替换 loc loc gets rows (or columns) with particular labels from the index. loc从索引中获取具有特定标签的行（或列）。这里的关键是：标签。标签的理解就是name名字。 >>> import pandas as pd >>> df = pd.DataFrame(data= [[1, 2, 3],[4
python爬虫使用beautifulsoup库爬取www.shanghairanking.cn网站中 大学名字 分数排名
最新发布
06-07
首先，你需要安装 requests 和 beautifulsoup4 库。然后，你可以按照以下步骤进行爬取： 1. 导入库并发送请求 ```python import requests from bs4 import BeautifulSoup url = '...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值