【Python爬虫】信息组织与提取方法

最新推荐文章于 2022-07-11 15:50:06 发布
最新推荐文章于 2022-07-11 15:50:06 发布
阅读量318 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/muzihuaner/article/details/107219289
版权

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

三种信息标记形式的比较

 

 

 代码：

<person>
    <firstname>Tian</firstname>
    <lastname>Song</lastname>
    <address>
        <streetAddr>中关村南大街5号</streetAddr>
        <city>北京市</city>
        <zipcode>100081</zipcode>
    </address>
    <prof>Computer System</prof><prof>Security</prof>
</person>

 

 代码：

{
    "firstName":"Tian",
    "lastName":"Song",
    "address":{
                "streetAddr":"中关村南大街5号",
                "city":"北京市",
                "zipcode":"100081"
               },
    "prof":["Computer System","Security"]
}

 

 代码：

firstName: Tian
lastName: Song
address: 
    streetAddr: 中关村南大街5号
    city: 北京市
    zipcode: 100081
prof:
-Computer System
-Security

 

 

 

信息提取的一般方法

 

 

 

 

 

 

 

 

 实践：

>>> import requests
>>> r=requests.get("https://www.baidu.com/")
>>> r.encoding='UTF-8'
>>> demo=r.text
>>> from bs4 import BeautifulSoup
>>> soup=BeautifulSoup(demo,"html.parser")
>>> for link in soup.find_all('a'):
    print(link.get('href'))

    
http://news.baidu.com
https://www.hao123.com
http://map.baidu.com
http://v.baidu.com
http://tieba.baidu.com
http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1
//www.baidu.com/more/
http://home.baidu.com
http://ir.baidu.com
http://www.baidu.com/duty/
http://jianyi.baidu.com/
>>>

基于bs4库的HTML内容查找方法

 

 练习：

>>> soup.find_all('a')
[<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>, <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>, <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>, <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>, <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>, <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">登录</a>, <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>, <a href="http://home.baidu.com">关于百度</a>, <a href="http://ir.baidu.com">About Baidu</a>, <a href="http://www.baidu.com/duty/">使用百度前必读</a>, <a class="cp-feedback" href="http://jianyi.baidu.com/">意见反馈</a>]
>>> soup.find_all(['a','b'])
[<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>, <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>, <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>, <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>, <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>, <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">登录</a>, <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>, <a href="http://home.baidu.com">关于百度</a>, <a href="http://ir.baidu.com">About Baidu</a>, <a href="http://www.baidu.com/duty/">使用百度前必读</a>, <a class="cp-feedback" href="http://jianyi.baidu.com/">意见反馈</a>]
>>> for tag in soup.find_all(True):
    print(tag.name)

    
html
head
meta
meta
meta
link
title
body
div
div
div
div
div
div
img
form
input
input
input
input
input
input
span
input
span
input
div
a
a
a
a
a
noscript
a
script
a
div
div
p
a
a
p
a
a
img
>>> import re
>>> for tag in soup.find_all(re.compile('b')):
    print(tag.name)

    
body
>>>

 

 练习：

>>> soup.find_all('a','nav')
[]
>>> soup.find_all('a','com')
[]
>>> r.text
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">登录</a>\');\r\n                </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'
>>> soup.find_all(id='wrapper')
[<div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img height="129" hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270"/> </div> <form action="//www.baidu.com/s" class="fm" id="form" name="f"> <input name="bdorz_come" type="hidden" value="1"/> <input name="ie" type="hidden" value="utf-8"/> <input name="f" type="hidden" value="8"/> <input name="rsv_bp" type="hidden" value="1"/> <input name="rsv_idx" type="hidden" value="1"/> <input name="tn" type="hidden" value="baidu"/><span class="bg s_ipt_wr"><input autocomplete="off" autofocus="autofocus" class="s_ipt" id="kw" maxlength="255" name="wd" value=""/></span><span class="bg s_btn_wr"><input autofocus="" class="bg s_btn" id="su" type="submit" value="百度一下"/></span> </form> </div> </div> <div id="u1"> <a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a> <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a> <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a> <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a> <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a> <noscript> <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');

                </script> <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a> </div> </div> </div> <div id="ftCon"> <div id="ftConw"> <p id="lh"> <a href="http://home.baidu.com">关于百度</a> <a href="http://ir.baidu.com">About Baidu</a> </p> <p id="cp">©2017 Baidu <a href="http://www.baidu.com/duty/">使用百度前必读</a>  <a class="cp-feedback" href="http://jianyi.baidu.com/">意见反馈</a> 京ICP证030173号  <img src="//www.baidu.com/img/gs.gif"/> </p> </div> </div> </div>]
>>> soup.find_all('link')
[<link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>]
>>> import re
>>> soup.find_all(id=re.compile('link'))
[]
>>>

 

 练习：

>>> soup.find_all('a')
[<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>, <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>, <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>, <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>, <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>, <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">登录</a>, <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>, <a href="http://home.baidu.com">关于百度</a>, <a href="http://ir.baidu.com">About Baidu</a>, <a href="http://www.baidu.com/duty/">使用百度前必读</a>, <a class="cp-feedback" href="http://jianyi.baidu.com/">意见反馈</a>]
>>> soup.find_all('a',recursive=False)
[]
>>>

 

 练习：

>>> soup
<!DOCTYPE html>

<!--STATUS OK--><html> <head><meta content="text/html;charset=utf-8" http-equiv="content-type"/><meta content="IE=Edge" http-equiv="X-UA-Compatible"/><meta content="always" name="referrer"/><link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/><title>百度一下，你就知道</title></head> <body link="#0000cc"> <div id="wrapper"> <div id="head"> <div class="head_wrapper"> <div class="s_form"> <div class="s_form_wrapper"> <div id="lg"> <img height="129" hidefocus="true" src="//www.baidu.com/img/bd_logo1.png" width="270"/> </div> <form action="//www.baidu.com/s" class="fm" id="form" name="f"> <input name="bdorz_come" type="hidden" value="1"/> <input name="ie" type="hidden" value="utf-8"/> <input name="f" type="hidden" value="8"/> <input name="rsv_bp" type="hidden" value="1"/> <input name="rsv_idx" type="hidden" value="1"/> <input name="tn" type="hidden" value="baidu"/><span class="bg s_ipt_wr"><input autocomplete="off" autofocus="autofocus" class="s_ipt" id="kw" maxlength="255" name="wd" value=""/></span><span class="bg s_btn_wr"><input autofocus="" class="bg s_btn" id="su" type="submit" value="百度一下"/></span> </form> </div> </div> <div id="u1"> <a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a> <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a> <a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a> <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a> <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a> <noscript> <a class="lb" href="http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1" name="tj_login">登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');

                </script> <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a> </div> </div> </div> <div id="ftCon"> <div id="ftConw"> <p id="lh"> <a href="http://home.baidu.com">关于百度</a> <a href="http://ir.baidu.com">About Baidu</a> </p> <p id="cp">©2017 Baidu <a href="http://www.baidu.com/duty/">使用百度前必读</a>  <a class="cp-feedback" href="http://jianyi.baidu.com/">意见反馈</a> 京ICP证030173号  <img src="//www.baidu.com/img/gs.gif"/> </p> </div> </div> </div> </body> </html>

>>> soup.find_all(string="百度一下")
[]
>>> import re
>>> soup.find_all(string=re.compile("百度一下"))
['百度一下，你就知道']
>>>

 

 

 

木子欢儿
关注
Python爬虫入门——信息组织与提取方法（2）
01-20
1. 信息提取的一般方法   指从标记的信息中提取关注的内容。上一章提到的信息标记有三种形式：XML、JSON、YAML。 一般意义上的几种方法: 方法一：完整的解析信息的标记形式，再提取关键信息。像XML、JSON、YAML等...
爬虫 基本库的使用
m0_61597961的博客
12-15 910
思考一个问题，当你用浏览器登录了一个网站时，你可以再次点击从而获取登录后自己的个人信息，在这个过程中实际上是发送了两个请求（实际上不止，还有许多看不到的请求），而计算机的cookies都对应着服务器的相同的会话，这样服务器就能知道你的登录状态，从而给你想要的东西。但如果我们用爬虫get或post请求时，实际上是两个完全不相关的会话，这个时候我们就需要设置cookies来维持相同的会话。有一个笨方法就是这两个请求都设置相同的cookies，这当然可以，但我们有更简单的方法——Session对象。
HTTP详解
超级程序诞生的博客
07-11 1307
超文本传输协议（Hyper Text Transfer Protocol，HTTP）是一个简单的请求-响应协议，它通常运行在TCP之上。它指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。请求和响应消息的头以ASCII形式给出；而消息内容则具有一个类似MIME的格式。这个简单模型是早期Web成功的有功之臣，因为它使开发和部署非常地直截了当。文本：html,字符串，.....超文本：图片，音乐，视频，定位，地图....这些东西都可以通过HTTP来传输默认端口为80端口HTTPS（安全的）HTTPS
爬虫（二）：requests模块
JWind_xyf的博客
08-30 345
requests模块简介 用于发送请求、获取响应，有很多替代模块，比如urllib，但requests代码简洁易懂 requests在底层实际上封装了urllib 知识点 headers参数 发送带参数的请求 headers中携带cookie cookies参数的使用 cookieJar的转换方法 超时参数timeout 代理参数proxies 使用verify参数忽略CA证书 发送post请求 使用requests.session状态保持 模块的文档 文档中需要着重学习的部分： 学习路径 安装模块（
python3爬虫(六)--requests的高级操作
北冥有鱼丶
06-09 516
文件上传 import requests url = "http://httpbin.org/post" files = {'files':open("alipay.png",'rb')} response = requests.post(url,files=files) print(response.text) 结果： 获取cookie import requests url = "http...
爬虫基础
weixin_34124939的博客
11-11 75
request 模块Requests: 让 HTTP 服务人类虽然Python的标准库中 urllib 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 "HTTP for Humans"，说明使用更简洁方便。Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用：）Requests 继...
Python网络爬虫与信息提取教学大纲.docx
05-29
### Python网络爬虫与信息提取教学大纲知识点梳理 #### 一、课程背景及目标 - **互联网数据的重要性**：互联网不仅是信息交流的平台，更是庞大的数据仓库，其中包含着巨大的商业价值和社会价值。 - **数据采集的...
完整版精品Python网络爬虫教程 数据采集 信息提取课程 05-信息标记与提取方法（共49页）.pptx
11-13
课程还涵盖了信息标记与提取的方法。信息标记是将特定的数据结构化，便于处理和理解。HTML是一种常见的标记语言，通过使用预定义的标签来组织文本、图像等各种内容。XML、JSON和YAML则是不同的数据交换格式，它们...
python爬虫课件+代码.zip
07-25
总之，"python爬虫课件+代码.zip"提供的学习资源涵盖了Python爬虫的基础到进阶，包括请求与响应处理、HTML解析、数据提取、数据存储等多个方面，结合实际代码操作，有助于你快速上手并掌握爬虫技术。在跟随路飞学城...
Python爬虫开发与项目实战PPT文档
最新发布
04-02
Python爬虫开发与项目实战是IT领域中一个热门的话题，特别是在大数据时代，数据采集和分析变得至关重要。Python作为一门简洁易学的编程语言，因其强大的库支持，成为了爬虫开发的首选工具。本资料包主要包含了一份名...
python requests cookie处理
微信公众号：码奋
07-24 1562
import requests r=requests.get('https://baidu.com') print(r.cookies) for key,value in r.cookies.items(): print(key+'='+value) 运行结果 <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/...
网络爬虫——如何提取网页控件（如input）里的value值
weixin_43718786的博客
09-09 4860
问题描述： 想要提取前端某些控件里的值，这儿以一个隐藏的输入框为例，想要提取里面的value 我比较喜欢用xpath语法，因为chorme浏览器可以直接copy对应element的xpath(计划在微博系列（三）里面分析)，这样在python里直接用xpath-tree解析即可。 但是用chorme复制的xpath不能很好得解决控件里value值的提取,比如用chorme的xpath写 papers = tree.xpath('//*[@id="hidTotalCount"]/text()')[0]
python的第三方库是干什么用的-Python最强大的第三方库，你有必要了解一下！
q6q6q的专栏
10-28 1167
写在之前标准库的内容已经非常多了，我在前面的文章中已经介绍了七八个，没看的可以回头找着去看看。虽然介绍了不少，但是 Python 给编程者的支持不仅仅在于标准库，它还有不可胜数的第三方库。（加小编扣裙：前面七灵灵 中间 三四一 后面 五五五获取Python入门学习资料。希望对你们有帮助！）作为一个 Pythoner，即使你的技术已经达到大佬的级别，在做某件事情之前最好还是 Google 一下是否...
Python爬虫--requests库基本用法
LOVEYSUXIN的专栏
12-09 489
requests是python实现的简单易用的HTTP库。下面介绍其一些基本的用法。 1 、基本用法 import requests response = requests.get('http://www.baidu.com') #print(type(response)) # 查看类型 #print(dir(response)) # 查看response下的方法 print(response.status_code) # 打印状态码 print(response.url) # 打印请求URL
python中BeautifulSoup获取input标签中value的值
热门推荐
thatqier
10-22 1万+
def ceshi(): url = "http://11111.com" s = requests.Session() response_gw = s.get(url) soup = BeautifulSoup(response_gw.text, "html.parser") VIEWSTATE = soup.find('input', id='__VIEWSTATE')["value...
网络爬虫提取 3-2信息组织与提取方法
yky__xukai的博客
06-28 223
文章截图均来自中国大学mooc Python网络爬虫与信息提取的教程，以上仅作为我的个人学习笔记。 下面是教程链接：https://www.icourse163.org/learn/BIT-1001870001?tid=1450316449#/learn/content?type=detail&id=1214620493&cid=1218397635&replay=true 信息标记的三种方式：世界上所有信息都可以用这三种方式进行组织和标记 XML：标签tag、类似于HTML
【MOOC】Python网络爬虫与信息提取-北京理工大学-part 1
linzch3的博客
03-07 9292
【第〇周】网络爬虫之前奏课程推荐阅读文章：关于反爬虫，看这一篇就够了网络爬虫”课程内容导学【第一周】网络爬虫之规则1.Requests库入门Requests库英文文档：Requests: HTTP for Humans Requests库中文文档：Requests: 让 HTTP 服务人类注意：中文文档的内容要稍微比英文文档的更新得慢一些，参考时需要关注两种文档对应的Requests库版本。（对于
Python爬虫（六）——信息组织和提取
swhite_zhang
02-03 452
文章目录Python爬虫（六）——信息组织和提取信息的标记信息标记的种类[XML](https://www.w3school.com.cn/xml/index.asp "w3school XML")[JSON](https://www.w3school.com.cn/json/index.asp "w3school JSON")[YAML](https://yaml.org/ "official ...
Cookie 的Domain,MaxAge ,存储,Cookie诈骗分析
翻身了，咸鱼！
07-09 3934
测试浏览器是chrome浏览器,不同的浏览器对cookie 的操作会有不同 Cookie 保存在浏览器端,Cookie既可以在前端操作,也可以后端操作 前端操作cookie 是javaScript完成:document.cookie 后端操作cookie,比如java,response.addCookie() Cookie 是保存在本地的 ,以Chrome 为例,当前账户的administ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值