Python-入门爬虫篇(BS4)一看就懂

最新推荐文章于 2023-07-06 16:01:33 发布

四川财阀

最新推荐文章于 2023-07-06 16:01:33 发布

阅读量214

点赞数 1

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/hongsegeming/article/details/130235774

版权

该代码示例展示了如何使用Python的requests库获取网页内容，并利用BeautifulSoup库进行HTML解析，提取页面元素。主要涉及的技术包括HTTP请求和HTML解析，是网络爬虫的基础操作。

摘要由CSDN通过智能技术生成

from bs4 import BeautifulSoup
import requests
url = "https://www.baidu.com"
#不要打开代理网络，不然会报错
r1 = requests.get(url,'lxml')
r1.encoding='utf-8'
bs_1=BeautifulSoup(r1.text,'lxml') #后面要加一个.text

print(bs_1)

输出结果

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta content="text/html;charset=utf-8" http-equiv="content-type"/><meta content="IE=Edge" http-equiv="X-UA-Compatible"/><meta content="always" name="referrer"/><link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/><title>百度一下，你就知道</title></head> <body link="#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img height="129" hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270"/> </div> <form action="//www.baidu.com/s" class="fm" id="form" name="f"> <input name="bdorz_come" type="hidden" value="1"/> <input name="ie" type="hidden" value="utf-8"/> <input name="f" type="hidden" value="8"/> <input name="rsv_bp" type="hidden" value="1"/> <input name="rsv_idx" type="hidden" value="1"/> <input name="tn" type="hidden" value="baidu"/><span class="bg s_ipt_wr"><input autocomplete="off" autofocus="autofocus" class="s_ipt" id="kw" maxlength="255" name="wd" value=""/></span><span class="bg s_btn_wr"><input autofocus="" class="bg s_btn" id="su" type="submit" value="百度一下"/></span> </form> </div> </div> <div id="u1"> <a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a> <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a> <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a> <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a> <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a> <noscript> <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');

                </script> <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a> </div> </div> </div> <div id="ftCon"> <div id="ftConw"> <p id="lh"> <a href="http://home.baidu.com">关于百度</a> <a href="http://ir.baidu.com">About Baidu</a> </p> <p id="cp">©2017 Baidu <a href="http://www.baidu.com/duty/">使用百度前必读</a>  <a class="cp-feedback" href="http://jianyi.baidu.com/">意见反馈</a> 京ICP证030173号  <img src="//www.baidu.com/img/gs.gif"/> </p> </div> </div> </div> </body> </html>

=========================================================================print(bs_1.prettify()) #格式化输出全部内容

print(bs_1.prettify())

输出结果

<!DOCTYPE html>
<!--STATUS OK-->
<html>
 <head>
  <meta content="text/html;charset=utf-8" http-equiv="content-type"/>
  <meta content="IE=Edge" http-equiv="X-UA-Compatible"/>
  <meta content="always" name="referrer"/>
  <link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>
  <title>
   百度一下，你就知道
  </title>
 </head>
 <body link="#0000cc">
  <div id="wrapper">
   <div id="head">
    <div class="head_wrapper">
     <div class="s_form">
      <div class="s_form_wrapper">
       <div id="lg">
        <img height="129" hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270"/>
       </div>
       <form action="//www.baidu.com/s" class="fm" id="form" name="f">
        <input name="bdorz_come" type="hidden" value="1"/>
        <input name="ie" type="hidden" value="utf-8"/>
        <input name="f" type="hidden" value="8"/>
        <input name="rsv_bp" type="hidden" value="1"/>
        <input name="rsv_idx" type="hidden" value="1"/>
        <input name="tn" type="hidden" value="baidu"/>
        <span class="bg s_ipt_wr">
         <input autocomplete="off" autofocus="autofocus" class="s_ipt" id="kw" maxlength="255" name="wd" value=""/>
        </span>
        <span class="bg s_btn_wr">
         <input autofocus="" class="bg s_btn" id="su" type="submit" value="百度一下"/>
        </span>
       </form>
      </div>
     </div>
     <div id="u1">
      <a class="mnav" href="http://news.baidu.com" name="tj_trnews">
       新闻
      </a>
      <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">
       hao123
      </a>
      <a class="mnav" href="http://map.baidu.com" name="tj_trmap">
       地图
      </a>
      <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">
       视频
      </a>
      <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">
       贴吧
      </a>
      <noscript>
       <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">
        登录
       </a>
      </noscript>
      <script>
       document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');
      </script>
      <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">
       更多产品
      </a>
     </div>
    </div>
   </div>
   <div id="ftCon">
    <div id="ftConw">
     <p id="lh">
      <a href="http://home.baidu.com">
       关于百度
      </a>
      <a href="http://ir.baidu.com">
       About Baidu
      </a>
     </p>
     <p id="cp">
      ©2017 Baidu
      <a href="http://www.baidu.com/duty/">
       使用百度前必读
      </a>
      <a class="cp-feedback" href="http://jianyi.baidu.com/">
       意见反馈
      </a>
      京ICP证030173号
      <img src="//www.baidu.com/img/gs.gif"/>
     </p>
    </div>
   </div>
  </div>
 </body>
</html>

=========================================================================

print(bs_1.string)

输出结果

None

=========================================================================

print(bs_1.a.string)

输出结果 #说明只输出第一个

新闻

=========================================================================

CSS选择器

print(bs_1.select('title'))

输出结果

[<title>百度一下，你就知道</title>]

=========================================================================

.find(返回一个对象)

find('a'):只找到第一个a标签

find('a', class_ ='名字')

print(bs_1.find('a'))

输出结果

<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>

print(bs_1.find('a',class_='mnav'))

输出结果

<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>

print(bs_1.find('a').string)

输出结果

新闻

=========================================================================

. find_all(返回一一个列表)

find_all('a')查找到所有的a

find_all(['a','span'])返回所有的a和span

find_all('a', limit=2)只找前两个a

print(bs_1.find_all('a'))

输出结果

[<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>, <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>, <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>, <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>, <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>, <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">登录</a>, <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>, <a href="http://home.baidu.com">关于百度</a>, <a href="http://ir.baidu.com">About Baidu</a>, <a href="http://www.baidu.com/duty/">使用百度前必读</a>, <a class="cp-feedback" href="http://jianyi.baidu.com/">意见反馈</a>]

print(bs_1.find_all('a').string)

输出结果 #会报错

Traceback (most recent call last):
  File "<pyshell#28>", line 1, in <module>
    print(bs_1.find_all('a').string)
  File "C:\Users\admin\AppData\Local\Programs\Python\Python39\lib\site-packages\bs4\element.py", line 2289, in __getattr__
    raise AttributeError(
AttributeError: ResultSet object has no attribute 'string'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()?

for i in bs_1.find_all('a'):
    print(i.string)

输出结果

新闻
hao123
地图
视频
贴吧
登录
更多产品
关于百度
About Baidu
使用百度前必读
意见反馈

=========================================================================

.获取节点内容:适用于标签中嵌套标签的结构
obj.string
obj.get_ text() [推荐]

print(bs_1.get_text())

输出结果

 百度一下，你就知道                     新闻 hao123 地图 视频 贴吧  登录   更多产品       关于百度 About Baidu  ©2017 Baidu 使用百度前必读  意见反馈 京ICP证030173号

print(bs_1.string)

输出结果

None

=========================================================================

.attrs获取属性值

print(bs_1.a.attrs)

输出内容

{'href': 'http://news.baidu.com', 'name': 'tj_trnews', 'class': ['mnav']}

=========================================================================

for i in bs_1.find_all('a'):
    print(i.attrs)

输出结果

{'href': 'http://news.baidu.com', 'name': 'tj_trnews', 'class': ['mnav']}
{'href': 'https://www.hao123.com', 'name': 'tj_trhao123', 'class': ['mnav']}
{'href': 'http://map.baidu.com', 'name': 'tj_trmap', 'class': ['mnav']}
{'href': 'http://v.baidu.com', 'name': 'tj_trvideo', 'class': ['mnav']}
{'href': 'http://tieba.baidu.com', 'name': 'tj_trtieba', 'class': ['mnav']}
{'href': 'http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1', 'name': 'tj_login', 'class': ['lb']}
{'href': '//www.baidu.com/more/', 'name': 'tj_briicon', 'class': ['bri'], 'style': 'display: block;'}
{'href': 'http://home.baidu.com'}
{'href': 'http://ir.baidu.com'}
{'href': 'http://www.baidu.com/duty/'}
{'href': 'http://jianyi.baidu.com/', 'class': ['cp-feedback']}

=========================================================================