关于soup.findAll返回空列表

已于 2023-09-28 21:32:11 修改
阅读量210 收藏
点赞数
文章标签： beautifulsoup
于 2023-09-28 20:39:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XS147/article/details/133391980
版权

我在爬取一个漫画网站时遇到了一个这样的问题

这是我的选择器

from bs4 import BeautifulSoup
#选择器
comicelm= soup.findAll('img')
print(comicelm)

这是网站源码

<!DOCTYPE HTML>
<html lang="zh-CN">
<head lang="zh-CN">
    <meta charset="UTF-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">
    <meta name="renderer" content="webkit">
    <meta name="viewport" content="width=device-width,initial-scale=1,maximum-scale=1">
    <meta http-equiv="content-language" content="zh-CN">
    <title>&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41漫画 全一话免费观看-爱国漫</title>
    <meta name="keywords" lang="zh-CN" content="&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41漫画,&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41全一话免费阅读,&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41漫画在线观看">
    <meta name="description" lang="zh-CN" content="爱国漫为您更新&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41漫画，&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41全一话免费阅读，&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41漫画在线观看，&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41全一话漫画情节，更多精彩漫画尽在爱国漫漫画网！">
    <meta http-equiv="Cache-Control" content="no-transform">
    <meta http-equiv="Cache-Control" content="no-siteapp">
    <link rel="stylesheet" type="text/css" href="/template/pc/mangabz/css/lit-reader-5976e0f0f2.css?v=1695730296">
    <link rel="stylesheet" type="text/css" href="/template/pc/mangabz/css/common-d795625f09.css?v=1695730296">
    <link rel="stylesheet" type="text/css" href="/template/pc/mangabz/css/reader-e8e4175d18.css?v=1695730296">
    <script type="text/javascript">
        function isMobileHanddle() {
            var e = navigator.userAgent;
            return (screen.width / screen.height < 1 || /AppleWebKit.*Mobile/i.test(e) || /MIDP|SymbianOS|NOKIA|SAMSUNG|LG|NEC|TCL|Alcatel|BIRD|DBTEL|Dopod|PHILIPS|HAIER|LENOVO|MOT-|Nokia|SonyEricsson|SIE-|Amoi|ZTE/.test(e)) && !/ipad/gi.test(e)
        }

        isMobileHanddle() && (window.location.href = 'https://m.aiguoman.com/' + window.location.pathname.substr(1));
    </script>
</head>
<body class="toolbar">
<!-- 顶部 -->
<div class="nav-top-wrap J_nav-top J_block" data-block="810100" data-blockname="工具视图">
    <div class="logo-wrap logo-sub-wrap">
        <h1><a href="javascript:;" class="logo" data-pageend="quit" p-rseat="mgchapter" title="叭嗒"></a></h1>
    </div>
    <div class="nav-top">
        <div class="logo-wrap">
            <a href="/" data-pageend="quit" p-rseat="mgchapter" class="logo"></a>
            <span class="cartoon-title">
                <a href="/comic/40c10141sweetcandypot74041" target="_blank" class="chapter" data-rseat="mgchapter" data-bookid="18yzme91z9">&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41<span class="icon-arr-top"></span></a>
                <!-- 右箭头与题目需要连在一起 -->
                <!-- <span class="icon-arr-top"></span> -->
                <a href="javascript:;" class="chapter-sub">全一话 </a>
            </span>
        </div>
    </div>
</div> <!-- 中间主体漫画部分 -->
<!-- 滚动模式 -->
<div class="main main-scroll_mode J_scroll_mode J_block" data-block="810100" data-blockname="阅读视图">
    <ul class="main-container">
        
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908611yioH1MrtvZ2D6LpP.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908611VAfrYl73yiemkdvW.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/16749086106lZHGxc612L3c2n0.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908610FKXNG5OEiqPo9NeA.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/167490860994dnW80_stZ8pi-z.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908609HSJ9BlnnEiz9trJb.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908608dnK2-1T5_FJme1TU.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908608N3psToVy_xqdDuGP.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908607z_7JMzahbDs5m0Ic.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/16749086076bsaHtURI1zTU-wG.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908606awNk3_sPuZhH7iPz.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908606BtSyyCYoBIou9rY6.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908605CsK4ohyHtKybpppr.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1014/2027038/1674908605zP0qpB-zum0u_B0O.jpg"></li>
        
        
        <li class="main-item">
            <p class="next-subtit">即将进入下一话</p><a data-rseat="tnextchp" href="" class="next-title">没有了<i class="icon-next"></i></a>
        </li>
    </ul>
</div> <!-- 底部 -->
<script src="/poster/pc-agm-sy-hengfu.js?v=1695730296"></script>
<div class="nav-bottom-wrap J_nav-bottom J_block" data-block="810100" data-blockname="工具视图">
    <div class="nav-bottom nav-bottom-toolbar">
        <ul class="page-container">=
        </ul>
        <ul class="nav-bottom-ul">
            <li class="catalog-item"><a href="/app/" target="_blank" class="collect-form-btn-4">下载APP</a></li>
            <li class="splite-item"></li>
            <li class="catalog-item"><a href="/comic/40c10141sweetcandypot74041" class="J_catalog_button" data-rseat="catalog"><i class="icon-catalog"></i>目录</a></li>
            <li class><a data-rseat="nechp" class="J_next_eposide_btn " href="">下一话<i class="icon-nextpage"></i></a></li>
            <li class><a data-rseat="bachp" class="J_prev_eposide_btn " href=""><i class="icon-uppage"></i>上一话</a></li>
        </ul>
    </div>
</div>
<script src="/template/pc/mangabz/js/jquery-1-4f775cb966.11.1.min.js?v=1695730296"></script>
<script type="text/javascript">
    window.jquery = window.jQuery
</script>
<div class="footer">
  <p>Copyright (C) 2005-2018  </p>
  <p> 爱国漫（www.aiguoman.com）是一家漫画免费分享以及在线浏览平台</p>
  <p>版权投诉 manhuahao@gmail.com</p>
</div>
<script type="text/javascript">
  $(function() {
    $("#btnSearch").click(function() {
      newsearch(0);
    });
    //回车事件
    $("#txtKeywords").bind("keyup", function(event) {
      var e = event || window.event;
      if (e && e.keyCode === 13 && $('.header-search-list li.active').index() === -1 &&
              $.trim($(this).val()) !== '') {
        newsearch($(this).data("isnew"));
      }
    });
  });
  function newsearch(isnew) {
    var $keywords = $("#txtKeywords");
    $keywords.focusout();
    var title = $keywords.val();
    if (title === "") {
      title = $keywords.attr("data");
    }
    if (isnew && isnew === 1) {
      window.location.href = "/search?key=" + encodeURIComponent(title);
    } else {
      window.open("/search?key=" + encodeURIComponent(title));
    }
  }
</script>
<script src="/template/pc/mangabz/js/vendor-6a7044.js?v=1695730296"></script>
<script src="/template/pc/mangabz/js/reader-6a7044.js?v=1695730296"></script>
<script src="/api/hits/comic/199421"></script></body>
</html>

函数返回了空列表

但奇怪的是同一个网站的另一个结构相似的页面正常返回了所有<img元素的列表

<!DOCTYPE HTML>
<html lang="zh-CN">
<head lang="zh-CN">
    <meta charset="UTF-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1">
    <meta name="renderer" content="webkit">
    <meta name="viewport" content="width=device-width,initial-scale=1,maximum-scale=1">
    <meta http-equiv="content-language" content="zh-CN">
    <title>世界终焉的世界录漫画 第01话免费观看-爱国漫</title>
    <meta name="keywords" lang="zh-CN" content="世界终焉的世界录漫画,世界终焉的世界录第01话免费阅读,世界终焉的世界录漫画在线观看">
    <meta name="description" lang="zh-CN" content="爱国漫为您更新世界终焉的世界录漫画，世界终焉的世界录第01话免费阅读，世界终焉的世界录漫画在线观看，世界终焉的世界录第01话漫画情节，更多精彩漫画尽在爱国漫漫画网！">
    <meta http-equiv="Cache-Control" content="no-transform">
    <meta http-equiv="Cache-Control" content="no-siteapp">
    <link rel="stylesheet" type="text/css" href="/template/pc/mangabz/css/lit-reader-5976e0f0f2.css?v=1695730296">
    <link rel="stylesheet" type="text/css" href="/template/pc/mangabz/css/common-d795625f09.css?v=1695730296">
    <link rel="stylesheet" type="text/css" href="/template/pc/mangabz/css/reader-e8e4175d18.css?v=1695730296">
    <script type="text/javascript">
        function isMobileHanddle() {
            var e = navigator.userAgent;
            return (screen.width / screen.height < 1 || /AppleWebKit.*Mobile/i.test(e) || /MIDP|SymbianOS|NOKIA|SAMSUNG|LG|NEC|TCL|Alcatel|BIRD|DBTEL|Dopod|PHILIPS|HAIER|LENOVO|MOT-|Nokia|SonyEricsson|SIE-|Amoi|ZTE/.test(e)) && !/ipad/gi.test(e)
        }

        isMobileHanddle() && (window.location.href = 'https://m.aiguoman.com/' + window.location.pathname.substr(1));
    </script>
</head>
<body class="toolbar">
<!-- 顶部 -->
<div class="nav-top-wrap J_nav-top J_block" data-block="810100" data-blockname="工具视图">
    <div class="logo-wrap logo-sub-wrap">
        <h1><a href="javascript:;" class="logo" data-pageend="quit" p-rseat="mgchapter" title="叭嗒"></a></h1>
    </div>
    <div class="nav-top">
        <div class="logo-wrap">
            <a href="/" data-pageend="quit" p-rseat="mgchapter" class="logo"></a>
            <span class="cartoon-title">
                <a href="/comic/shijiezhongyandeshijielu" target="_blank" class="chapter" data-rseat="mgchapter" data-bookid="18yzme91z9">世界终焉的世界录<span class="icon-arr-top"></span></a>
                <!-- 右箭头与题目需要连在一起 -->
                <!-- <span class="icon-arr-top"></span> -->
                <a href="javascript:;" class="chapter-sub">第01话 </a>
            </span>
        </div>
    </div>
</div> <!-- 中间主体漫画部分 -->
<!-- 滚动模式 -->
<div class="main main-scroll_mode J_scroll_mode J_block" data-block="810100" data-blockname="阅读视图">
    <ul class="main-container">
        
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176135eSRYn46P2zra-nuW.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176141iy0LxT2e69YV8yfK.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176144w2qZhrtnH4qOutTC.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176148r7z-zlGbWZEihczX.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176152krBBCwliMuUIiFGh.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176155Ft58vCT-Q6lSaqTo.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176158Ab2dZKEXguZWNpR3.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176162kw2dMATy3bhfhcu2.jpg"></li>
        
        <li class="main-item"><img src="https://res.xiaoqinre.com/images/comic/1/1964/1481176165AWEVd4vKmkGpVSnM.jpg"></li>
                
        <li class="main-item">
            <p class="next-subtit">即将进入下一话</p><a data-rseat="tnextchp" href="/chapter/142355-35474.html" class="next-title">第02话<i class="icon-next"></i></a>
        </li>
    </ul>
</div> <!-- 底部 -->
<script src="/poster/pc-agm-sy-hengfu.js?v=1695730296"></script>
<div class="nav-bottom-wrap J_nav-bottom J_block" data-block="810100" data-blockname="工具视图">
    <div class="nav-bottom nav-bottom-toolbar">
        <ul class="page-container">=
        </ul>
        <ul class="nav-bottom-ul">
            <li class="catalog-item"><a href="/app/" target="_blank" class="collect-form-btn-4">下载APP</a></li>
            <li class="splite-item"></li>
            <li class="catalog-item"><a href="/comic/shijiezhongyandeshijielu" class="J_catalog_button" data-rseat="catalog"><i class="icon-catalog"></i>目录</a></li>
            <li class><a data-rseat="nechp" class="J_next_eposide_btn " href="/chapter/142355-35474.html">下一话<i class="icon-nextpage"></i></a></li>
            <li class><a data-rseat="bachp" class="J_prev_eposide_btn " href=""><i class="icon-uppage"></i>上一话</a></li>
        </ul>
    </div>
</div>
<script src="/template/pc/mangabz/js/jquery-1-4f775cb966.11.1.min.js?v=1695730296"></script>
<script type="text/javascript">
    window.jquery = window.jQuery
</script>
<div class="footer">
  <p>Copyright (C) 2005-2018  </p>
  <p> 爱国漫（www.aiguoman.com）是一家漫画免费分享以及在线浏览平台</p>
  <p>版权投诉 manhuahao@gmail.com</p>
</div>
<script type="text/javascript">
  $(function() {
    $("#btnSearch").click(function() {
      newsearch(0);
    });
    //回车事件
    $("#txtKeywords").bind("keyup", function(event) {
      var e = event || window.event;
      if (e && e.keyCode === 13 && $('.header-search-list li.active').index() === -1 &&
              $.trim($(this).val()) !== '') {
        newsearch($(this).data("isnew"));
      }
    });
  });
  function newsearch(isnew) {
    var $keywords = $("#txtKeywords");
    $keywords.focusout();
    var title = $keywords.val();
    if (title === "") {
      title = $keywords.attr("data");
    }

最后我发现是因为网站的<title>中有日文字符

<title>&#40C101&#41SWEET CANDY POT! 7 &#40オリジナル&#41漫画 全一话免费观看-爱国漫</title>

删掉网页源码的这三行后函数正常返回所有带<img标签的元素

XS147
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
为什么用beautifulsoup查找id输出结果是空的_爬虫利器 Beautiful Soup 之搜索文档
weixin_39542889的博客
12-04 897
Beautiful Soup 搜索文档html_doc = """index首页我常用的网站GoogleBaiduBing......"""soup = BeautifulSoup(html_doc, "lxml")过滤器正式讲解搜索文档之前，我们有必要了解下 Beautiful Soup 的过滤器，这些过滤器在整个搜索的 API 中都有所体现，他们可以被用在 TAG 的 name 中，属性中，字...
我的python爬虫学习之路
jack-cai的博客
11-03 273
一些需要用到的官方网站 Request库的官方网站. BeautifulSoup库的官方网站. 正则表达式的参考网站.
Beautiful Soup.pdf
01-15
爬虫中的BeautifulSoup库的自学笔记。讲述了常用函数和最基本的爬虫实例。
find_all函数返回的是个列表吗
最新发布
weixin_43765541的博客
05-09 408
find_all函数返回的是个列表吗
关于soup.find_all的一直报错的原因（find_all的使用方法）
S_String的博客
10-27 1537
关于soup.find_all的一直报错的原因（find_all的使用方法） 错误使用方法 寻找标签是a，类名class是j_th_tit的节点 all = soup.find_all("a",class_="j_th_tit") find_all相关API 查找标签 soup.find_all(‘tag’) 查找文本 soup.find_all(text=‘text’) 根据id查找 soup.find_all(id=‘tag id’) 使用正则 soup.find_all(text=re.comp
BeautifulSoup4 find_all搜索包含指定文本内容的标签返回空list的问题
weixin_34354173的博客
08-30 4217
最近帮助公司其他团队用python写了一个爬虫，遇到了不少问题，其中就有一个问题是使用BeautifulSoup4的find_all搜索包含指定文本内容时返回的是空的list，查看了官方文档也上google搜索了一些类似的问题，发现是因为在使用bs4的find_all结合正则表达式查找指定文本的时候，搜索的是bs4返回元素中string属性中的信息，而不是text属性。并且如果某个元素中如果还包含...
lentil-soup.github.io
04-18
扁豆汤.github.io
Tubumu.Mediasoup.Executable
02-10
Tubumu.Mediasoup.Executable 网站和文件 支持论坛
Python利用Beautiful Soup模块搜索内容详解
01-20
find_all() find_parent() find_parents() find_next_sibling() find_next_siblings() find_previous_sibling() find_previous_siblings() find_previous() find_all_previous() find_next() f
Getting Started with Beautiful Soup.pdf.pdf
09-14
Getting Started with Beautiful Soup.pdf
BeautifulSoup使用find，find_all常见问题汇总
shenyuan12的专栏
08-19 4197
1.soup.find(class='abc')报错，原因是find和find_all里面都不能直接把class作为参数，改写成如下任意一种就对了： 第一种，给class后面加下划线soup.find(class_='abc') 第二种，改写成：soup.find(attrs={"class":"abc"}) 2.想要查询类名为abc或def怎么办，也就是说 如何在find或find_all里表达逻辑or？ 解决办法：soup.find(class_=['abc','def']) 3.如何获得标签
Beautiful Soup之find()和find_all()的基本使用
热门推荐
chengstudying的博客
08-12 1万+
1.HTML文本 这里以官方文档提供的html代码来演示Beautiful Soup中find_all()和find()的基本使用。 <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="stor
Python之爬虫之BeautifulSoup学习
shy的博客
10-01 2290
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。由于 BeautifulSoup 是基于 Python，所以相对来说速度会比另一个 Xpath 会慢点，但是其功能也是非常的强大学习资料中文官网：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
Python HTML解析器BeautifulSoup(爬虫解析器)
diwudong1059的博客
12-23 271
BeautifulSoup简介 　　我们知道，Python拥有出色的内置HTML解析器模块——HTMLParser，然而还有一个功能更为强大的HTML或XML解析工具——BeautifulSoup（美味的汤），它是一个第三方库。简单来说，BeautifulSoup最主要的功能是从网页抓取数据。本文我们来感受一下BeautifulSoup的优雅而强大的功能吧！ BeautifulSou...
soup.find_all 用法
03-28
print(class_tags) # 输出空列表，因为没有带 class 属性的标签 # 查找所有包含 hello 文本的标签 hello_tags = soup.find_all(string='hello') print(hello_tags) # 输出一个包含 hello 文本的 div 标签 ``` 注意...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值