爬虫之盗亦有道beautifulsoup

最新推荐文章于 2024-11-02 16:28:26 发布
最新推荐文章于 2024-11-02 16:28:26 发布
阅读量113 收藏
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ClarkMOSS/article/details/107596823
版权

beautifulsoup 安装
cmd控制窗口输出

pip install beautifulsoup4

测试时候安装成功

import requests
r=requests.get("https://www.baidu.com/")
r.text
demo=r.text
from bs4 import BeautifulSoup
soup=BeautifulSoup(demo,"html.parser")

html.parsers 是个解释器

解析器使用方法条件
bs4BeautifulSoup(demo,“html.parser”)安装bs
lxmlBeautifulSoup(demo,“lxml”)安装lxml
xml解析器BeautifulSoup(demo,“xml”)安装lxml
html5libBeautifulSoup(demo,“html5lib”)安装html5lib

基本元素

基本元素说明
Tag标签，最基本的信息组织单元，分别用<>和</>表明开头和结尾
Name标签名字,< p >…< /p >的名字是‘p’,格式：< tag >.name
Attributes标签属性，字典形式组织，格式：< tag >.string
NavigableString标签内非属性字符串,<>…</>中字符串格式，格式：< tag >.string
Comment标签内字符串的注释部分，一种特殊的comment类型
import requests
r=requests.get("https://www.baidu.com/")
r.text
demo=r.text
from bs4 import BeautifulSoup
soup=BeautifulSoup(demo,"html.parser")
soup.title
soup.a.name
soup.a.parent.name
tag=soup.a
tag.attrs
tag.attrs["class"]
tag.string

在这里插入图片描述
标签树的下行遍历

下行
.contents子节点的列表，将< tag> 中所有子节点存入列表
.children子节点的迭代类型与.contents类似，用于循环遍历子节点
.descendants子孙节点的迭代类型，用于循环遍历
上行
.parent父节点标签
.parents先辈节点标签的迭代类型，用于循环遍历先辈节点
平行
.next_sibling返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling返回按照HTML文本顺序的上一个平行节点标签
.next_siblings迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings迭代类型,返回按照HTML文本顺序的前序所有平行节点标签
soup=BeatifulSoup(demo,"html.parser
soup.head
#<head><meta content="text/html;charset=utf-8" http-equiv="content-type"><meta content="IE=Edge" 
#http-equiv="X-UA-Compatible"><meta content="always" name="referrer"><link 
#href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" 
#rel="stylesheet" type="text/css"><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></link></meta></meta>
#</meta></head>
soup.head.contents
#[<meta content="text/html;charset=utf-8" http-equiv="content-type"><meta content="IE=Edge" http-equiv="X-UA-Compatible"><meta content="always" name="referrer"><link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></link></meta></meta></meta>]
soup.body.contents

for child in soup.body.children:
	print(child)#遍历儿子节点
for child in soup.body.descendants:
	print(child)#遍历子孙节点
#遍历上行所有标签
for parent in soup.head.parents:
	if parent is None:
		print(parent)
	else:
		print(parent.name)

部分来自北京理工大学-嵩天的爬虫课程

请叫我随心
关注
专栏目录
爬虫路线Requests-Re-BeautifulSoup技术路线总结
weixin_42274345的博客
08-28 1310
爬虫路线Requests-Re-BeautifulSoup技术路线总结 最近工作中需要用到爬虫，于是自己学习了一下，项目难度不算大，因此不需要用到框架，主要用到requests、bs4、re三个模块，正好最近爬取某某佳缘用户图片正好用到了这三个模块，以此项目为例总结一下： 首先，盗亦有道，先看一下网站的robots协议，方法为网址+/robots.txt，发现并没有相关协议。robots协议是...
Python网络爬虫简单入门
weixin_45820912的博客
01-23 2057
预备知识 学习者需要预先掌握Python的数字类型、字符串类型、分支、循环、函数、列表类型、字典类型、文件和第三方库使用等概念和编程方法。 Python爬虫基本流程 a. 发送请求 使用http库向目标站点发起请求，即发送一个Request，Request包含：请求头、请求体等。 Request模块缺陷：不能执行JS 和CSS 代码。 b. 获取响应内容 如果requests的内容存在于目标服务器上，那么服务器会返回请求内容。 Response包含：html、Json字符串、图片，视频等。 c..
python爬虫——入门
qq_51182221的博客
07-10 473
python爬虫入门前面的话0.1Robots协议解读0.2网络爬虫的约束0.3基本流程0.4三个流程的实现需要什么一、Requests库入门1.1 Requests库的get()方法1.2 爬取网页的通用代码框架1.3 HTTP协议及Requests库的主要方法1.3.1 HTTP协议1.3.2 Requests库的七个方法(1).request方法(2).对于**kwargs参数（控制访问参数，可选参数）：1). params：字典或者字节序列，作为参数增加到url中2). data：字典、字节序列或文
爬虫（详细介绍，由浅入深）
热爱分享，热爱记录
03-19 1122
网络爬虫与信息提取笔记 学习python的视频https://www.bilibili.com/video/av69060979?p=1 以爬虫视角，看待网络内容（来源：学习强国平台，北京理工大学学习视频 北京理工大学崇天） 文章目录网络爬虫与信息提取笔记1 Requests库入门1.1 requests库方法1.2 爬取网页的通用代码框架1.3Request库网络爬虫实战（5个实例）1.3.1访问京东商品1.3.2亚马逊商品页面的爬取1.3.3百度/360搜索关键词提交1.3.4网络图片的爬取与存储1.3
爬虫初接触
.G();的博客
10-24 807
爬虫初接触前言一、爬虫是什么？二、前期知识储备1.发送请求2.获取响应内容3.解析内容4.保存数据三、爬虫知识requests库requests库的2个主要方法实例网络爬虫的“盗亦有道”——Robots协议网页结构实例四、Scrapy总结 前言 本人刚开始学习爬虫，里面的代码大都是从老师给的ppt所截，如有问题请多多指正。代码都属基础代码，相对简单，适合纯入门… 一、爬虫是什么？ 随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战，网络爬虫应运而生。 网络爬虫
python网络爬虫与信息提取
雨纷飞
11-28 7196
课程《Python网络爬虫与信息提取-北京理工大学-嵩天》中的内容，作为笔记 Table of Contents 一、网络爬虫之规则：Requests库 1. request()方法 2. 其他方法  3. 爬取网页的通用代码框架 4. 实例 5. 网络爬虫的“盗亦有道” 二、网络爬虫之提取 1.Beautiful Soup库 2. 信息组织与提取方法 3. 实例：中国大...
《Python网络爬虫与信息提取》笔记1
qq_58647543的博客
02-09 847
name = each_goods_li.find(name='a', attrs={'dd_name': r"单品标题"}).attrs['title']\d|1\d{2}|2[0-4]\d|25[0-5]).){3}([1-9]?infoDict.update({'股票名称': re.findall('\s.*\(',name)[0].split()[0] +raw string类型（原生字符串类型,不包含转义符的类型）：r'text'， 如r'\d{3}-\d{8}|\d{4}-\d{7}'
【Python】爬虫-MOOC前三周
share something here
03-10 685
【Python】爬虫第0周 前奏导学开发工具选择：第一章 网络爬虫规则/信息提取Requests库入门get方法 第0周 前奏 导学 学习目的：掌握定向网络数据爬取和网页解析的基本能力 开发工具选择： 通用类型集成环境 特点 IDLE 适用于，Python入门，功能简单直接，300+代码以内 Sublime Text 专为程序员开发的第三方专用编程工具，专业编程体验，多种编程风格，工具非注册免费使用 Wing 公司维护，工具收费，调试功能丰富，版本控制，版本同步，适合多人共
python网络爬虫学习之入门篇
weixin_42636275的博客
01-14 854
预备知识 学习者需要预先掌握Python的数字类型、字符串类型、分支、循环、函数、列表类型、字典类型、文件和第三方库使用等概念和编程方法。 Python入门篇：https://www.cnblogs.com/wenwei-blog/p/10592541.html Python爬虫基本流程 a. 发送请求 使用http库向目标站点发起请求，即发送一个Request，Request包含：请求头...
完整版精品Python网络爬虫教程 数据采集 信息提取课程 02-网络爬虫的盗亦有道（共19页）.pptx
11-13
在Python中，网络爬虫的实现主要依赖于几个关键库，如Requests、BeautifulSoup和Scrapy等。 1. **Requests库入门**：Requests库是Python中最常用的HTTP客户端库，用于发送HTTP请求。它可以轻松地获取网页内容，支持...
爬虫之盗亦有道requests
ClarkMOSS的博客
07-25 174
import requests url="http://www.baidu.com" r=requests.get(url) print(r.status_code)#200为成功，其他为失败 print(r.text) print(r.encoding)#从header中得到的编码方式，header中没有cheater,就默认为ISO-8859-1 print(r.apparent_encoding)#备用编码方式，比默认更准确 r.encoding="utf-8" print(r.text) requ
《Python网络爬虫与信息提取》第一周 网络爬虫之规则 学习笔记（二）网络爬虫的盗亦有道
wyatt007的博客
04-16 354
二、网络爬虫的盗亦有道 1、网络爬虫的尺寸 （1）爬取网页，玩转网页 小规模，数据量小，爬取速度不敏感；Requests库；90%以上。 （2）爬取网站，爬取系列网站 中规模，数据规模较大，爬取速度敏感；Scrapy库。 （3）爬取全网 大规模，搜索引擎，爬取速度关键；定制开发。 2、网络爬虫引发的问题 （1）网络爬虫的“骚扰” 受限于编写水平和目的，网络爬虫将会为web服务...
Python网络爬虫之网络爬虫的“盗亦有道”和Requests库网络爬取实战学习笔记手札及代码实战
zzw1208的博客
07-01 670
网络爬虫的“盗亦有道” 和Requests库网络爬取实战网络爬虫的“盗亦有道”网络爬虫的限制Robots协议Robots协议的遵守方式Robots协议的使用Requests库网络爬取实战实例1：京东商品页面的爬取实例2：亚马逊商品页面的爬取实例3：百度/360搜索关键词提交实例4:网络图片的爬取和存储实例5：IP地址归属地的自动查询 和Requests库网络爬取实战) 网络爬虫的“盗亦有道” 网络爬虫的限制 1.来源审查：判断User-Agent进行限制 检查来访HTTP协议头的User-Agent域，只
二、网络爬虫的“盗亦有道”(学习笔记）
Shangyejingwu的博客
02-05 167
网络爬虫的“盗亦有道”(学习笔记） 一、网络爬虫引发的问题 1.网络爬虫的尺寸 2.网络爬虫引发的问题 网络爬虫的骚扰： 对于网站运行者：受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源开销。 网络爬虫的法律风险： 服务器上的数据有产权归属网络爬虫获取数据后牟利将带来法律风险 网络爬虫泄露隐私 网络爬虫可能具备突破简单访问控制的能力，获得被保护数据从而泄露个人隐私。 3.网络爬虫的限制 来原审查: 判断User-Agent进行限制 检查来访HTTP协议头的User-Agent域，只响应测览器
Day21包和模块
weixin_50199478的博客
10-30 595
一个.py文件就是一个模块。模块是含有一系列数据、函数、类等的程序。包是将模块以文件夹的组织形式进行分组管理的方法，以便更好地组织和管理相关模块。包是一个包含一个特殊的__init__.py文件的目录。
01_IAR新建CC2530工程
nanxl1的博客
11-02 730
由于很多Zigbee商家提供的教程未有从零建立CC2530工程的讲解，可能会导致后面的开发中出现一些琐碎的问题。本文将以**LED流水灯**为例，从0到1用**IAR**建立CC2530工程。
cleanfid库的fid使用，及其使用CLIP模型clip_vit_b_32计算FID
最新发布
百年孤独百年的博客
11-02 696
这篇博客详细介绍了如何使用 cleanfid 库计算 Fréchet Inception Distance (FID)，特别是利用 CLIP 模型 clip_vit_b_32 计算 FID 分数来评估生成图像的质量。内容涵盖了 FID 的概念和原理、cleanfid 库的安装与配置、从缓存中加载与手动加载模型的方法，以及解决可能遇到的依赖问题。通过这篇教程，可以掌握使用 cleanfid 库计算fid的完整流程，并能够解决服务器环境中遇到的联网与模型下载问题。
Backtrader 数据篇 02
进击的小学生
10-30 994
重新自定义数据读取函数，自定义的方式就是继承数据加载类 GenericCSVData、PandasData 再构建一个新的类，然后在新的类里统一设置参数。如果传递负值（例如：-1），则表示 CSV 数据中不存在该字段自定义的函数，不会修改 Backtrader 底层的数据表格内 lines 的排列规则。
变量与数据类型：从整数到字符串
redrose2100的博客
10-30 69
变量是用于存储数据的命名空间。在Python中，定义变量非常简单，你只需要将一个值赋给变量名即可。# 定义变量x = 10变量名只能包含字母、数字和下划线（_）。变量名不能以数字开头。变量名不能为Python的关键字（如ifelsewhile等）。# 合法的变量名age = 25# 非法的变量名# 1st_num = 10 # 不能以数字开头# if = "condition" # 不能使用Python关键字。
汽车防盗新招：指纹锁方案，守护你的爱车安全
本文主要探讨了汽车防盗技术在现代汽车电子中的应用，特别是在机械锁防盗、电子防盗系统、无钥匙进入系统以及新兴的生物防盗（以指纹锁为例）之间进行对比和分析。首先，作者将汽车比喻为“小老婆”，形象地表达了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值