通过实例学Python爬虫(一)——认识HTML网页与爬虫基础框架

已于 2022-10-13 12:21:43 修改
阅读量1.6k 收藏 15
点赞数 1
分类专栏： Python爬虫 文章标签： 数据挖掘 python html 爬虫
于 2022-09-30 22:40:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56364204/article/details/126857124
版权

写在前面的话：

        作者目前是一名计算机专业本科生，为了更好的巩固知识，记录学习心得，也为了更好锻炼自己的表达能力，因此计划对已学过半年的爬虫技术进行整理分享。

        对于爬虫技术入门，我认为理论与实操结合才能更好的掌握爬虫技术，所以此系列的每一篇文章中，我都会结合具体代码的简单实例，整理自己相关方面的心得，也供大家参考，同时也欢迎大家提出疑问或者建议，一起相互学习，共同进步！

本节梗概：

        1.对HTML网页结构进行简单介绍

        2.利用HTML+CSS完成一个简单网页

        3.简单了解爬虫基本框架，基本流程

一、认识HTML网页结构

1.简述

        日常生活中我们都会使用浏览器检索信息，是否想过浏览器为何能够按照我们的需求返回特定的页面？为何每个网页页面分布样式各有差异？网络页面的获取底层是如何实现的？数以千计的网络页面是如何存储的？针对这些问题，首先我们就要来了解一下网页基础信息。

2.认识HTML网页      

        浏览器中每个页面，即所对应的某个具体网址，都可以视为一个网页。网页内容的呈现也是依靠一些网络语言进行编写，常见的有HTML、PHP、JavaScript等，通过其对应的语言编写规范，即可展现各式各样的网页。在浏览器中可以通过 右键-检查(图1)，即可查看当前页面对应的源代码(图2) 。

检查工具：打开检查页面后，点击左上角小电视图标即可进入检查操作，鼠标点击网页界面后源码界面会自动锁定到对应代码部分 

​
图一、检查操作
​
图二、网页对应源代码

3.HTML语言基础

        HTML全称为超文本标记语言，是一种专门用来描述网页的语言，利用此语言可以在网页中添加文字、图片、视频、链接等。在语言规范方面，HTML语言主要依靠标记标签来定义页面内容，一个网页可以对应一个或者多个HTML文档。

        3.1  HTML标签介绍

  • 标签：在HTML语言中，被尖括号<>包括的关键词被称为标签，也就是HTML的基本部件，例如<body>、</body>、<head>、</head>、<br>....，不同标签有着不同作用。
  • 标签属性：比如标签<a  href="https://blog.csdn.net/m0_56364204?spm=1010.2135.3001.534">，标签<a>的href属性可以用于显示超链接；对于不同的标签，其拥有一些特有属性，用于辅助标签，使得标签更好的发挥起作用，
  • 元素：对于闭合标签来讲，闭合标签的开始标签到结束标签之间的代码被称为元素，比如标签<title>标题元素</title>，其中间就是元素；

         HTML文档的结构是使用HTML标签嵌套使用，整个文档通过标签可以形成一棵树形结构。整体来看，最外层为<html>-</html>标签，表明了此网页编写语言为HTML语言；其间又有两大部分组成：头部和主体，分别由<head>-</head>、<body>-</body>界定，其具体作用查看下表。在头部与尾部内又有许多小标签可选择使用比如<br>、<img>等。我们可以先编写一个简单的网页看一下这个整体结构：(可用记事本书写，完成后修改后缀为html即可直接打开)

<html>
	<head>
		<title> 网页标题 </title>
	</head>
	<body>
		认真与热爱<br>
		这个是换行标签<br>
		&nbsp这个特殊符号是空格<br>
		<a href='https://blog.csdn.net/m0_56364204?spm=1010.2135.3001.534'> 这是超链接</a>
	</body>
</html>
代码对应网页

        3.2  HTML常用标签

HTML常用标签介绍
       HTML标签                                                        作用
<html>、</html>闭合标签，HTML文档都以其为最外层标签，来界定文档的开始点与结束点；
<head>、</head>闭合标签，一般在<html>标签内部；对网页头部进行控制，描述页面标题、关键词、说明等信息；
<title>、</title>闭合标签，一般在<head>标签内部；通过元素来定义文档的标题；
<base>空标签，一般在<head>标签内部；用来定义页面上所有链接的默认地址，为之后的相对路径做出基准；其含有href属性，用来表明具体的默认地址；
<meta>空标签，一般在<head>标签内部；用来描述HTML文档的字符编码方式、关键词、描述信息等；其含有charset属性，用来指定编码格式；
<body>、</body>闭合标签，一般在<html>标签内部；对网页实际内容进行控制，表达关键信息，所关注的信息内容大部分也是封装在其间；
<p>、</p>闭合标签，一般在<body>标签内部；用来定义段落，其间的元素会自动开头缩进，显示为标准的一个段落；
<div>、</div>闭合标签，一般在<body>标签内部；用来分隔出一块区域，区域内可以包含段落、标题、表格等消息，经常用来网页页面布局；其含有id属性，用于标识单独的、唯一的元素；(一般div会与CSS结合使用，CSS可以修改区域显示的样式，具有通用性)

<h1>、</h1>

<h2>、</h2>

<h4>、</h4>

闭合标签，一般在<body>标签内部；标题标签，使用在一个网页中唯一标题、重要栏目、重要标题下；其后数字代表着标题的重要性程度，一共四个等级；
<b>、<\b>闭合标签，一般在<body>标签内部；作用为加粗，使得其间元素加粗；
<img>空标签，一般在<body>标签内部；用来显示图片；其src属性来表示图片地址，可用相对路径(相对base标签内的路径)，也还含有width、height属性，表示图片高宽；
<a>、</a>闭合标签，一般在<body>标签内部；用于显示超链接；其属性href用来指定链接的目标；
<table>、</table>闭合标签，一般在<body>标签内部；用来定义表格；其属性border用来指定边框厚度，其一般要与表格标签<th>、<tr>、<td>结合使用；

<tr>、</tr>

<th>、</th>

<td>、</td>

闭合标签，一般在<table>标签内部，<tr>用来表明一行、<th>表示标题列、<td>表示单元格

4. HTML网页的简单制作

        结合具体实例才能更好理解所学知识，现在根据上面的基础知识构建一个自己的网页；本次实例为制作简单HTML+CSS网页，以“河南风景”为主题，制作一个介绍河南城市景点的网页。

4.1  定义网页头部代码

         在<head>-</head>头部信息中，完成一些指定操作：

  • 使用<meta>的charset属性来指定文档的编码格式
  • 使用<title>的元素来指定文档的标题
  • 使用<style>来定义一些需要使用的样式模板
  • ！事先准备纯色背景图，并且把背景图的路径传递给.f样式的background-image属性中
<head>
    <!-- 定义文档编码格式 -->
	<meta charset="utf-8">  
    <!-- 定义网页标题 -->
	<title>河南风景</title>
    <!-- 定义多个目标格式 注意:实际编写时需要不断调整其中参数，采用CSS-->
	<style type ="text/css">
		*{
			padding:0;
			margin:0;
			list-style:none;
		}
		body{
			font-size:12px;
			font-family:"宋体";
			color:#000;
		}
		.al:link,.al:visited{
			color:#444;
			text-decoration:none;
		}
		.al:hover{
			color:#499;
			text-decoration:underline;
			}
        /* 已给九个区域,确定九个样式 */
		.p1,.p2,.p3,.p4,.p5,.p6,.p7,.p8,.p9{
			width:470px;
			height:auto;
			border:1px solid #999;
			margin:30px auto;
			padding:15px;
			position:relative; 
			float:left;
		}
        /* 整体背景样式 */
		.f{
			background:#64ce8d;
			border:1px solid #999;
			width:1550px;
			height:1900px;
            /* 此处将用来作为背景图 */
			background-image: url("./backgroud.png");
		}
        /* 定义几个文字样式 */
		.c1{
			font-size: 23px;
		}
		.c2{
			font-size: 20px;
		}
		.c3{
			font-size: 50px;
			text-align:center;
		}
		.c4{
			font-size: 30px;
			text-align:center;
		}
		.c5{
			font-size: 20px;
		}
	</style>
</head>

 4.2  定义网页主体代码

        首先使用<div>截取一块区域，并用属性style定义其样式为事先写的CSS样式.f作为整体背景，再使用3个<div>从此区域中划分三个小方格区域(div划分的区域可从其属性style中的CSS属性修改)；首先来描述第一个城市“安阳”的显示：

  • 在第一块区域p1：城市简介，利用<p>标签写入介绍，在从其之后定义一个div区域，区域内用<a>标签的href属性添加城市百度百科的超链接；
  • 在第二、三块区域p2、p3：从百度上下载两张景点图片(455*455)，与HTML文件保存在同一目录下，或者直接输入绝对路径，在标签<img>的src属性中添加图片路径、再从其之后定义一个div区域，在区域内添加文字描述与超链接；
<body>
    <!-- 把网页整体视为一个div区域，样式为.f -->
	<div class="f">
        <!-- 创建左上角区域 -->
		<div class="p1">
            <!-- 创建文字内容：<h2>标题、<p>段落-->
			<h2><p class="c3" >河南安阳</p></h2>
				<p class="c1">&nbsp&nbsp安阳，河南省地级市，古称殷、邺城、邺郡、相州、彰德府等，位于河南省最北部，地处河南、山西、河北三省交界处，东接濮阳，西临长治，南接鹤壁、新乡，北临邯郸，总面积7413平方公里。</br>&nbsp&nbsp安阳是甲骨文的故乡、周易的发源地、红旗渠精神的发祥地、国家历史文化名城和豫晋冀三省交界地区区域性中心城市，是京津冀周边协同发展区城市，是省委、省政府支持建设的重要区域中心城市，国家卫生城市、国家森林城市、 全国双拥模范县城。</br>历史学家郭沫若曾对安阳评价：</p>
				<p class="c4" >洹水安阳名不虚，</p>
				<p class="c4" >三千年前是帝都；</p>
				<p class="c4" >中原文化殷创始，</p>
				<p class="c4" >观此胜于读古书。</p>
            <!-- 使用box样式，将超链接添加在box的右下角 -->
			<div class="box">
				<p class="c2"align="right"><a href="https://baike.baidu.com/item/%E5%AE%89%E9%98%B3/8202?fromtitle=%E6%B2%B3%E5%8D%97%E5%AE%89%E9%98%B3&fromid=6395378&fr=aladdin" >详情</a></p>
			</div>
		</div>
        <!-- 创建中上方区域 -->
		<div class="p2">
            <!-- 插入图片 -->
			<a class="al"><img src="./太行大峡谷.png"></a>
            <!-- 插入文字 -->
			<div class="box">
				<p class="c1"><b>太行大峡谷</b></p>
				<p class="c5" >&nbsp&nbsp国家5A级旅游景区、国家重点风景名胜区、国家地质公园。</p>
				<p class="c2" align="right"><a href="https://baike.baidu.com/item/%E5%A4%AA%E8%A1%8C%E5%A4%A7%E5%B3%A1%E8%B0%B7%E9%A3%8E%E6%99%AF%E5%8C%BA/1235752?fromtitle=%E5%A4%AA%E8%A1%8C%E5%A4%A7%E5%B3%A1%E8%B0%B7&fromid=291066&fr=aladdin">详情</a></p>
			</div>
		</div>
        <!-- 创建右上角区域 -->
		<div class="p3">
			<a class="al"><img src="./殷墟.png"></a>
			<div class="box">
				<p class="c1"><b>殷墟</b></p>
				<p class="c5" >&nbsp&nbsp殷墟，原称“北蒙”，是中国商朝后期都城遗址，现为国家5A级旅游景区。</p>
				<p class="c2" align="right"><a href="https://baike.baidu.com/item/%E6%AE%B7%E5%A2%9F/3908528">详情</a></p>
			</div>
		</div>
    </div>
</body>

 4.3 完整代码与结果显示

重复4.2操作，可再次添加其他城市介绍；此处代码一共介绍了三个城市，划分出了九个区域用来描述，完整代码如下：

<!DOCTYPE html>
<html>
<head>
	<meta charset="utf-8">
	<title>河南风景</title>
	<style type ="text/css">
		*{
			padding:0;
			margin:0;
			list-style:none;
		}
		body{
			font-size:12px;
			font-family:"宋体";
			color:#000;
		}
		.al:link,.al:visited{
			color:#444;
			text-decoration:none;
		}
		.al:hover{
			color:#499;
			text-decoration:underline;
			}
		.p1,.p2,.p3,.p4,.p5,.p6,.p7,.p8,.p9{
			width:470px;
			height:auto;
			border:1px solid #999;
			margin:30px auto;
			padding:15px;
			position:relative; 
			float:left;
		}
		.f{
			background:#64ce8d;
			border:1px solid #999;
			width:1550px;
			height:1900px;
			background-image: url("backgroud.png");
		}
		.c1{
			font-size: 23px;
		}
		.c2{
			font-size: 20px;
		}
		.c3{
			font-size: 50px;
			text-align:center;
		}
		.c4{
			font-size: 30px;
			text-align:center;
		}
		.c5{
			font-size: 20px;
		}
	</style>
</head>
<body>
	<div class="f">
		<div class="p1">
			<h2><p class="c3" >河南安阳</p></h2>
				<p class="c1">&nbsp&nbsp安阳，河南省地级市，古称殷、邺城、邺郡、相州、彰德府等，位于河南省最北部，地处河南、山西、河北三省交界处，东接濮阳，西临长治，南接鹤壁、新乡，北临邯郸，总面积7413平方公里。</br>&nbsp&nbsp安阳是甲骨文的故乡、周易的发源地、红旗渠精神的发祥地、国家历史文化名城和豫晋冀三省交界地区区域性中心城市，是京津冀周边协同发展区城市，是省委、省政府支持建设的重要区域中心城市，国家卫生城市、国家森林城市、 全国双拥模范县城。</br>历史学家郭沫若曾对安阳评价：</p>
				<p class="c4" >洹水安阳名不虚，</p>
				<p class="c4" >三千年前是帝都；</p>
				<p class="c4" >中原文化殷创始，</p>
				<p class="c4" >观此胜于读古书。</p>
			<div class="box">
				<p class="c2"align="right"><a href="https://baike.baidu.com/item/%E5%AE%89%E9%98%B3/8202?fromtitle=%E6%B2%B3%E5%8D%97%E5%AE%89%E9%98%B3&fromid=6395378&fr=aladdin" >详情</a></p>
			</div>
		</div>
		<div class="p2">
			<a class="al"><img src="./太行大峡谷.png"></a>
			<div class="box">
				<p class="c1"><b>太行大峡谷</b></p>
				<p class="c5" >&nbsp&nbsp国家5A级旅游景区、国家重点风景名胜区、国家地质公园。</p>
				<p class="c2" align="right"><a href="https://baike.baidu.com/item/%E5%A4%AA%E8%A1%8C%E5%A4%A7%E5%B3%A1%E8%B0%B7%E9%A3%8E%E6%99%AF%E5%8C%BA/1235752?fromtitle=%E5%A4%AA%E8%A1%8C%E5%A4%A7%E5%B3%A1%E8%B0%B7&fromid=291066&fr=aladdin">详情</a></p>
			</div>
		</div>
		<div class="p3">
			<a class="al"><img src="./殷墟.png"></a>
			<div class="box">
				<p class="c1"><b>殷墟</b></p>
				<p class="c5" >&nbsp&nbsp殷墟，原称“北蒙”，是中国商朝后期都城遗址，现为国家5A级旅游景区。</p>
				<p class="c2" align="right"><a href="https://baike.baidu.com/item/%E6%AE%B7%E5%A2%9F/3908528">详情</a></p>
			</div>
		</div>
		<div class="p4">
			<h2><p class="c3" >河南郑州</p></h2>
			<p class="c1">&nbsp&nbsp郑州，简称“郑”，古称商都，河南省辖地级市，是河南省省会、特大城市 、中原城市群核心城市，国务院批复确定的中国中部地区重要的中心城市、国家重要的综合交通枢纽。</br>&nbsp&nbsp郑州地处中国华中地区、黄河下游、中原腹地、河南中部偏北，位于黄河中下游和伏牛山脉东北翼向黄淮平原过渡的交接地带；属北温带大陆性季风气候，四季分明，极具观赏性。</p>
			<p class="c1">&nbsp&nbsp郑州是中国八大古都之一，文物古迹众多，有古城、古文化、古墓葬、古建筑、古关隘和古战场在内的遗址遗迹达1万余处。二七广场的二七纪念塔是郑州的标志性建筑，这里有最早的天文建筑登封观星台，更有有闻名世界少林寺，威震海内外的中国功夫也是从这里走向世界</p>
			<div class="box">
				<p class="c2"align="right"><a href="https://baike.baidu.com/item/%E9%83%91%E5%B7%9E/123948?fr=aladdin" >详情</a></p>
			</div>
		</div>
		<div class="p5">
			<a class="al"><img src="./嵩山.png"></a>
			<div class="box">
				<p class="c1"><b>嵩山</b></p>
				<p class="c5" >&nbsp&nbsp嵩山，古称“外方”，五岳中岳，现为国家5A级旅游景区。</p>
				<p class="c2"align="right"><a href="https://baike.baidu.com/item/%E5%B5%A9%E5%B1%B1/5671?fr=aladdin">详情</a></p>
			</div>
		</div>
		<div class="p6">
			<a  class="al" ><img src="./三泉湖.png"></a>
			<div class="box">
				<p class="c1"><b>三泉湖</b></p>
				<p class="c5" >&nbsp&nbsp三泉湖景区是伏羲山旅游区面积最大的自然风景区，现为国家4A级旅游景区。</p>
				<p class="c2"align="right"><a href="https://baike.baidu.com/item/%E4%B8%89%E6%B3%89%E6%B9%96%E6%99%AF%E5%8C%BA/23485586?fr=aladdin">详情</a></p>
			</div>
		</div>
		<div class="p7">
			<h2><p class="c3" >河南洛阳</h2>
			<p class="c1">&nbsp&nbsp洛阳市，简称“洛”，别称洛邑、洛京，河南省地级市，中原城市群副中心城市，洛阳市总面积15230平方千米。河南省西部，横跨黄河中下游南北两岸。</p>
			<p class="c1">&nbsp&nbsp洛阳市有5000多年文明史、4000多年城市史、1500多年建都史 。洛阳是华夏文明的发祥地之一、丝绸之路的东方起点 ，隋唐大运河的中心，历史上先后有十三个王朝在洛阳建都 。洛阳市有二里头遗址、偃师商城遗址、东周王城遗址、汉魏洛阳城遗址、隋唐洛阳城遗址等五大都城遗址。截至2019年3月，洛阳市共有龙门石窟、汉函谷关、含嘉仓等3项6处世界文化遗产；</br></br>司马光曾对洛阳群花感叹：</p>
			
			<p class="c4" >洛阳春日最繁花，</p>
			<p class="c4" >红绿荫中十万家。 </p>
			<div class="box">
				<p class="c2"align="right"><a href="https://baike.baidu.com/item/%E6%B4%9B%E9%98%B3/125712?fr=aladdin" >详情</a></p>
			</div>
		</div>
			<div class="p8">
			<a class="al"><img src="./白云山.png"></a>
			<div class="box">
				<p class="c1"><b>白云山</b></p>
				<p class="c5" >&nbsp&nbsp国家5A级旅游景区，被誉为"自然博物馆"、"人间仙境"、"京洛名山"。</p>
				<p class="c2"align="right"><a href="https://baike.baidu.com/item/%E7%99%BD%E4%BA%91%E5%B1%B1/2667398?fromtitle=%E6%B4%9B%E9%98%B3%E7%99%BD%E4%BA%91%E5%B1%B1&fromid=8570125&fr=aladdin">详情</a></p>
			</div>
		</div>
		<div class="p9">
			<a class="al"><img src="./龙门石窟.png"></a>
			<div class="box">
				<p class="c1"><b>龙门石窟</b></p>
				<p class="c5" >&nbsp&nbsp目前规模最大的石刻艺术宝库，被评为"中国石刻艺术的最高峰"，现为国家5A级旅游景区。</p>
				<p class="c2"align="right"><a href="https://baike.baidu.com/item/%E9%BE%99%E9%97%A8%E7%9F%B3%E7%AA%9F/274?fromtitle=%E6%B4%9B%E9%98%B3%E9%BE%99%E9%97%A8%E7%9F%B3%E7%AA%9F&fromid=3734203">详情</a></p>
			</div>
		</div>
	</div>
</body>
</html>

 结果如下

 二、爬虫基础框架

1.引入

         通过制作简单网页，对网页的显示有了基础的认识，那么爬虫与网页之间有着什么样的关系呢？原因就是基于当下大数据时代，大量信息都以网页形式储存在web服务器中，日常生活中我们可以通过浏览器检索信息获取到web服务器中相应的网页，通过网页能够浏览到我们所需要的信息。而爬虫技术主要就是基于需要检索大量信息，或者提取其一部分信息作为使用，那么就可以编写一只满足我们需求的“爬虫”，爬虫会遍历一定的范围，代替人工手动查询相关信息，将我们所需要的信息提取出来，做到信息全面且高效。

2.基本流程

        从实现方式上看，爬虫就是在模拟客户向服务器发送请求，获取服务器的响应；获得服务器返回的网页后，提取网页源代码，根据网页编码的方式进行抽取特定的信息，像文本、图片、音乐甚至是别的网址，将目标信息大量筛选出来；这就是爬虫技术的基本流程；

简单爬虫流程

        从这个基本流程上分析，我们就能发现我们要解决的几个关键问题，也是之后我们要学习的内容：

  1. 如何让爬虫模拟客户请求，从而获取服务器的相应？
  2. 获取服务器相应后，如何解析网页源码，筛选出目标信息？
  3. 对于筛选出不同类型的信息，如何进行存储？以及存储接口的使用？
  4. 如何让爬虫爬取大量相关主题网页，并非局限于特定网址？
  5. ......

三、结尾

         这次的分享主要是对HTML文档进行基础介绍，并且了解爬虫的整体流程，对于提出的各个问题以及如何通过python代码实现具体的爬虫将在之后的章节介绍。

        文章和代码都为原创，作者水平有限，难免会出现一些错误，代码可能不够规范整洁，仅供参考。也欢迎大家提出问题共同讨论，共同进步。

认真与热爱.
关注
专栏目录
python爬取HTML网页
sophia9301的博客
10-17 757
记录python正则学习中遇到的问题，以供日后参考。 例如，使用python正则爬取freebuf最新内容title和URL 思路：查看源代码，发现所有最新内容title和URL都在 和这两个类中，通过一次性定位到这两个类中的内容来进行爬取。 难点主要是不会构造正则表达式，经过学习可写出来，但是较为繁琐。 #coding=utf-8 import re import requests f
爬虫（一）爬虫原理和网页构造
weixin_41169182的博客
09-11 1106
爬虫总结（一）爬虫原理和网页构造网络连接爬虫原理多页面爬虫流程跨页面爬虫流程网页构造（有网页基础的可不看） 爬虫原理和网页构造 网络连接 爬虫需要了解关于网络连接的知识不多，只需要知道最基本的连接原理即可 如下图所示： 在客户端点开一个连接就会向服务器发送出一个请求，服务器就会向客户端返回相应的文件。 比如上网买东西。你下单了，就是发送一个请求（请求里携带着你的地址系信息）给仓库，仓库就会发送相...
Python爬虫初级（1）：HTML网页结构
一北DMY的博客
06-19 963
Python爬虫初级（1）：HTML网页结构
python爬虫 - 爬取html格式数据（CDSN博客）
最新发布
BullKing8185的博客
04-26 2938
python爬虫六部曲： 第一步：安装requests库和BeautifulSoup库 第二步：获取爬虫所需的header和cookie 第三步：获取网页 第四步：解析网页 第五步：分析得到的信息，简化地址： 第六步：爬取内容，清洗数据
Python-爬取HTML网页数据
热门推荐
Cheny的博客
12-15 8万+
Python-爬取HTML网页数据软件环境 Mac 10.13.1 (17B1003) Python 2.7.10 VSCode 1.18.1 摘要本文是练手Demo，主要是使用 Beautiful Soup 来爬取网页数据。Beautiful Soup 介绍 Beautiful Soup提供一些简单的、python式的用来处理导航、搜索、修改分析树等功能。 Beautiful Soup 官方
python html解析框架_HTMLParser
weixin_39796855的博客
12-19 154
如果我们要编写一个搜索引擎，第一步是用爬虫把目标网站的页面抓下来，第二步就是解析该HTML页面，看看里面的内容到底是新闻、图片还是视频。假设第一步已经完成了，第二步应该如何解析HTML呢？HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。好在Python提供了HTMLParser来非常方便地解析HTML，只需简单几行代码：from h...
python爬虫实例——基于BeautifulSoup与urllib.request
08-12
本实例将深入探讨如何使用Python的BeautifulSoup库与urllib.request模块来实现一个基本的网页抓取功能。 首先，`urllib.request`是Python标准库中的一个模块，用于处理URL相关的请求。在爬虫领域，它主要负责发起...
可执行源码python爬虫实例——基于python实现有道云翻译接口
01-01
可执行源码python爬虫实例——基于python实现有道云翻译接口
爬虫读取html网站，
10-09
方便用于网站开发，能够直接将网站的源代码爬取下来 在一些web页面开发时非常实用
网页Html抓取爬虫测试工具
03-13
这是自己写的一个正则表达式测试工具，专门用于测试Html数据抓取用的。
爬虫-HTTP基本原理与网页基础
weixin_43825323的博客
04-22 168
文章目录1- HTTP基础知识1-1 URI与URL定义关系1-2 超文本1-3 HTTP 和 HTTPS1-4 HTTP 请求过程1-5 请求请求方法（Request Method）请求的网址（Request URL）请求头请求体Content-Type 和 POST 提交数据方式的关系。1-6 响应响应状态码响应头响应体2- 网页基础2-1网页的组成HTMLCSS3. JavaScript2.2.2　网页的结构2-3　节点树及节点间的关系2-4　CSS选择器⭐#id.class标签名嵌套选择并列关系其他
python爬虫和HTML网页-技术硬货篇
我的博客
01-08 866
我们大家难免会有过这样的疑问：网页是怎么做出来的？ 这时，就有人说了：用HTML不就能做吗？ 那我再问你，那些百度、搜索，甚至CSDN这种网页，你做的出来吗？ 你现在一定在想：怎么获取他们的代码？ 哎，说到点子上了，作者虽然学过c++，但是这个用c++做还是不太可能，所以还是用python做。 原理就不讲了，新手也能看懂 import requests # 获取网页源代码 def getHtml(url): # 发送请求，r:response res = requests.g
Python爬虫 了解Web前端——HTML
最後の後悔的博客
07-21 727
和标签用于界定标题元素的范围，也就是说，和
【Python爬虫开发基础⑤】HTML概述与基本标签详解
z135733的博客
06-14 3394
HTML（Hypertext Markup Language）是一种标记语言，用于创建和呈现网页。它是构建网页的基础，并且具有简单易学的语法规则。HTML以标签为基本单位，通过嵌套和属性来描述和格式化网页上的内容和结构。HTML最初由蒂姆·伯纳斯-李（Tim Berners-Lee）在1990年创造，旨在促进信息共享和互联网上各种文档之间的链接。如今，HTML成为了万维网的核心技术之一，被广泛应用于网页制作、网站开发和跨平台内容交互等领域。内容（结构）：是我们在页面中可以看到的数据。我们称之为内容。
Python爬虫入门（DAY 3）解析HTML与web
weixin_56005867的博客
05-13 185
非贪婪匹配），在访问段的IP地址下进行投递包装好的数据包（简化，实际过程远远比这个复杂，感兴趣可以了解我之前的博客）（注意，是数据包），所以我们看到的最终内容其实是浏览器在站内解析后的内容，这时，大家就明白了，为什么会显示202，或者403，这只是得到了服务器端的状态，我们还需要继续对response进行解析。大部分国产的浏览器（qq浏览器，uc浏览器，猎豹浏览器，360浏览器）基本上是在IE浏览器的内核上进行的二次开发，现在国内市场上有许多双内核的浏览器，使用的是trident,webkit内核.
快乐学Python，数据分析之使用爬虫获取网页内容
z099164的博客
01-18 869
在上一篇文章中，我们了解了爬虫的原理以及要实现爬虫的三个主要步骤：下载网页-分析网页-保存数据。下面，我们就来看一下：如何使用Python下载网页。
python爬虫实例-----获取网页html
qq_18539189的博客
05-19 2064
白话爬虫过程
Python零基础数据爬虫技巧——浏览器测试框架Selenium实战教程
本教程是面向Python初学者的数据爬虫学习材料，尤其是第六章聚焦在Selenium框架的学习和应用，帮助学习者通过实践掌握自动化网页测试与数据抓取的技巧。掌握Selenium不仅可以用于数据爬虫，还可以扩展到Web应用程序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值