网络数据采集

最新推荐文章于 2024-05-11 15:17:42 发布
最新推荐文章于 2024-05-11 15:17:42 发布
阅读量1.8k 收藏 21
点赞数 18
文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_72041553/article/details/134922356
版权

网络数据采集

网络数据采集就说爬虫，爬虫程序就被称为蜘蛛程序spider

定义：

模拟浏览器上网，批量获取数据，获取的是既有数据

合法性：

爬虫本身不被法律禁止，但是具有违法的风险

不能影响网站是正常运营

不能攻击服务器

不能获取个人信息

反爬机制

网站设置一些机制，防止爬虫程序对数据的获取

验证  请求是否为浏览器
ip 请求过于频繁
需要登陆者的情况才能获取数据
反反爬策略

爬虫程序中针对反爬机制涉及对应的反反爬策略

添加请求头—构建—字典—user-agent----键 值 分别加引号

response.请求方式（）

response = request.get(url,header=构造好的请求头)

伪装浏览器
休眠  代理ip  轮流使用   消费
登录  cookie
客户端和服务器端

客户端：供用户使用

服务器端：客户端显示的数据都是来源于服务器，服务器端给客户端提供数据

请求request和响应response–双R

客户端通过IP地址进行定位服务器，向服务器传递信息，发送一个请求，这个过程就是请求过程

服务器接受请求之后，查询相关的数据，找到对应的数据，返回给客户端，这个过程就是响应

请求方式

常见的两种 get post

get请求

明显特点 请求参数直接拼接url【网址上】 ?key=value&key=value，请求参数直接暴露，不安全

post请求

不会把请求参数直接拼接在url上，参数不会暴露出来，对比get请求更安全

URL

网址的专业术语是URL，称为统一资源定位符

通过网址定位对应的资源，只能是这个资源

格式：协议：//域名或者ip地址：端口/资源路径？key=value&key=value

协议：信息的传递需要遵守一定的柜子，这个规则就是协议，http https

域名或者ip 定位服务器地址

资源路径 明确获取的资源在服务器的哪个位置

?key=value&key=value 请求参数

http协议

超文本传输协议，是网络数据通信的基础

http

https在 http 的基础上做了ssl加密，保证数据传输更安全

http协议又被为请求-响应协议，客户端和服务器端请求与应答的标准

客户端向服务器传递信息称为请求，发请求的时候，携带请求报文

请求报文的组成部分

请求行 请求头 空行 请求体

请求行  
 	请求方式   资源路径    协议/版本号  
		GET 	/s      HTTP/1.1
请求头 
	User-Agent:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36
	用户代理 
	存储的是和操作系统、浏览器相关的信息
	存储的是设备信息  

    Cookie:
    BIDUPSID=CCA1EE0B899728C008C56A1E68CDC1F1; PSTM=1692545075; BAIDUID=CCA1EE0B899728C0BBFD543EB8ABBE27:FG=1; 
	存储的是和登录者相关的信息 

空行
	分隔请求头和请求体
	请求头和请求体 都是 key:value 格式 

请求体
	请求参数 network-document- playload-储存的请求参数

服务器将数据返回给客户端，携带响应报文

响应报文组成 部分

响应行 响应头 空行 响应体

响应行 
	协议/版本号   响应状态码   响应状态啊描述信息
	HTTP/1.1      200        OK
响应状态码
	200   响应成功
	403   禁止访问  没有权限
	404   找不见  资源不存在  爬虫会遇到404  url有问题
	418   检测到非正常请求
	500   服务器异常
响应头
	Set-Coolie:BD_CK_SAM=1;path=/
空行
	分隔响应头和响应体
响应体
	响应内容【响应状态码  响应文本数据text  cookie 字节数据  编码方式encoding,apparencoding等】

http本身是无记忆协议，需要cookie进行辅助记忆

当第一次进行访问，服务器一定是不认识的，给一个身份标识，放在set-cookie中，随着响应报文一起返回给客户端，当客户端接受到响应报文之后，获取set-cookie的身份标识，存储在客户端，下一次再发送请求的时候，客户端会将身份标识放在cookie中，随着请求报文一起发送给服务器，服务器接受到之后，检测里面有身份标识，登记为一个登陆者身份。

爬虫的流程

​ 1.指定url 来源：网址栏粘贴出来；来源于页面的解析-图片的链接-页面中解析出来的图片的链接

​ 2.发送请求，接受响应，获取响应数据 两个模块 用来发送请求 requests selenium

request：三方模块、需要下载、pip install requests 、文件起名不要叫request

发送请求：requests.请求方式（）；response=requests.get(url)

获取响应数据: 响应状态码–response.stauts_codes

​ 文本数据-response.text

​ 字节数据-response.context

获取服务器响应的编码方式

获取内容的真是编码方式

​ 3.解析数据【获取想要的数据】正则解析 bs4解析 xpath解析

正则： re模块

​ 在字符串中匹配满足条件的所有-字符串中-字符串-data = response.text

​ re.find(正则表达式，data) ----返回结果是列表，想要某部分内容

​ 4.保存数据 图片【视频、音频】html文件 txt文件 excel文件 csv文件 数据库

下载图片

1.指定url

2.对url发请求 接受响应 获取响应数据

3.解析数据【图片的连接】

4.数据保存 【】

  1. 获取图片的链接
  2. 对图片链接发请求 接受响应 获取图片的字节数据
  3. 将字节数据写入到文件

wget模块 三方模块 下载 pip install wget

HTML的结构

html是由标签组成

单标签 <标签名称 属性名=值 属性名=值 属性名=值 /> / 可以省略

双标签 <标签名称 属性名=值 属性名=值 属性名=值>标签之间的内容</标签名称>

标签与标签之间可以相互嵌套：

三种关系

  1. 父子关系 ： 直接包含与被包含
  2. 兄弟关系： 被同一个父标签包含
  3. 先辈与后辈关系：直接或者间接包含与被包含 【包含父子】
<!DOCTYPE html>     声明这是一个html文档
<html lang="en">
    <head>
        <meta charset="UTF-8">  指定编码方式的  
        <title>Title</title>
    </head>
    <body>

    </body>
</html>
css选择器解析
bs4  全称 BeautifulSoup4  
bs4  从html中提取数据  
三方模块  需要下载  pip install bs4  

解析原理 
1. 实例化一个 BeautifulSoup对象，把页面的源码数据加载到该对象中
2. 通过调用方法进行标签的定位与内容的提取  【重点  定位标签 思路：找到一个能够进行唯一定位的位置 】


使用步骤 
from bs4 import BeautifulSoup
1. 获取页面的源码数据    --  data = response.text   字符串
2. 实例化一个 BeautifulSoup 对象
   BeautifulSoup(data,解析器)
   html_data = BeautifulSoup(data,'html.parser')  
   html_data  标签
3. 进行标签定位
   html_data.select(css选择的语法)   找所有 
   html_data.select_one(css选择的语法)  找一个


css选择器 

1. id选择器 
   标签中具有id属性    id值在html中的是唯一  
   通过id值唯一定位到这个标签
   <div id="haha" class="heihei">
   
   使用方式  #值    
   #haha

2. class选择器  类选择器 
   标签中具有class属性   class值可以有多个   html中可以有多个相同的class对应的值 
   配合搜索情况  ctrl+F  如果搜索出来个数是1 表示唯一
   <div class="heihei">
   
   使用方法  .值
   .heihei  -- 表示 定位到具有class=heihei的标签 
   
   但是 
   <div class="heihei huhu">  多个之间使用空格分隔 
  	使用类选择器  只能选择其中的一个值使用  选择更能够进行唯一定位的  
  	.heihei   
  	.huhu    

3. 包含选择器    父子关系   先辈与后辈关系 
	父子关系   >      父选择器>子选择器
	先辈与后辈  空格     父选择器 子选择器 
	
4. 标签选择器  元素选择器
	直接使用标签名称进行定位
	<div class='haha'>
	<p class='haha'>
	div 

5. 兄弟选择器    兄弟关系
	~  
		A~B
		选择A标签后的所有的B标签
	
	+ 
		A+B
		选择A标签后紧邻的那一个兄弟B
6. 属性选择器 
	属性 -- 标签名称后 以key=value  中key都叫属性 
	属性中 id  class 比较特殊 赋予两个单独的符号  #  .
	id  class 也是属性  也可以用于属性选择器 
	
	选择器[属性名]   具有某个属性名 且选择器对应的标签  
		div[content]  找具有content属性的div标签 
	
	选择器[属性名=值]  具有某个属性名且对应的值为指定内容的选择器
		div[content="haha"] 找具有content属性并且对应的值为haha的div标签 
	
	选择器[属性名^=指定内容]  具有某个属性名且对应的值以指定内容开头的选择  
		div[content^="h"]  找具有content属性并且对应的值以h开头为h的div标签 
	
	选择器[属性名$=指定内容]  具有某个属性名且对应的值以指定内容结尾的选择  
		div[content$="h"]  找具有content属性并且对应的值以h结尾为h的div标签 
		
	选择器[属性名*=指定内容]  具有某个属性名且对应的值包含指定内容的选择  
		div[content*="h"]  找具有content属性并且对应的值包含h的div标签 

7. 结构选择器  
	找某个选择器下的第n和或者倒数第n个 
	
	第一个  
		父选择器>子选择器:first-child
	第n个 
		父选择器>子选择器:nth-child(n)
	倒数第一个 
		父选择器>子选择器:last-child
	倒数第n个 
		父选择器>子选择器:nth-last-child(n)
		
	注意：执行顺序  
		先找负选择器中的第n个  验证是否满足子选择器 
		
	举例 
		父亲 
			儿子
			女儿
			儿子
			女儿
			女儿
			女儿
			
		父亲>儿子:last-child   找不到 
			找父亲的最后一个孩子  验证是否是儿子  如果是 找到了  如果不是  找不到  
		
		父亲>女儿:first-child  
        
        
        父亲>女儿:nth-last-child(2)

8. 全局选择器 
	* -- 任意  
	
	*[content] 
		所有具有content属性的标签
获取详情页数据
  1. 获取详情页链接 解析出来
  2. 对详情页链接发请求 接相应 获取响应数据
  3. 解析数据

JSON数据

是一种轻量级的数据交换格式，常用于服务器向客户端传输的一种格式

要进行网络传输，最终的数据类型都是字符串，还得是具有一定格式的字符串，也就是JSON数据

常见的格式

[{key:value,key:[]},{key:value},{}]
{key:[],key:value,key:[]}

序列化和反序列化

序列化：将程序中的对象【字典包列表或者列表包字典】转化为字符串，还可将内容存储到文件中

反序列化：将字符串【可以是文件中内容】转化为程序中的对象

python中提供进行序列化和反序列操作的模块 json

序列化  
    json.dump
    json.dumps

反序列化
    json.load
    json.loads


不带s的一组 和文件相关
iiis午夜的枫210
关注
  • 18
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Python网络数据采集
互联说
04-12 1341
通过本文的介绍，相信读者对如何编写爬虫代码有了更深入的了解。当然，爬虫技术不是万能的，需要遵守相关的法规和道德准则。在实际应用中，爬虫的使用需要考虑到数据的可靠性和隐私保护等问题，同时也需要注意不要给目标网站带来不必要的负担。我们希望本文能够帮助读者更好地理解网络数据采集的基本流程和相关工具，从而更好地应用网络数据采集技术。
通过动态IP解决网络数据采集问题
热门推荐
java李阳勇的博客
07-03 2万+
可以处理各种数据哦，地图分析，图片处理，视频内容，评论收集，工作信息收集，酒店信息处理，搜索购物等。
Python网络数据采集的方法
m0_67354902的博客
03-09 3723
听说还有很多小伙伴还不知道网络数据采集的方法，让我来看看都有谁，不说话我就点名了。我把教程分享在下面了，需要的小伙伴自己领取。（https://jq.qq.com/?_wv=1027&k=kYtMeTfp） 一般情况下以下四种方式都是可以匹配到结果的，只是复杂程度不一致，根据情况进行选择。 ◾正则re的使用 ◾bs4 的使用 ◾xpath ◾PyQuery ① Re（Regular Expression 正则表达式）速度快效率高准确性高； 但使用起来可能相较于其他两种方法会更加的复杂多变，要学习的
数据采集集成-网络数据采集（一）
MMOMMO_的博客
08-23 1474
本文给大家介绍一下，学到的数据采集集成方面的基础知识。
Python之网络数据采集入门常用模块初识
m0_53156691的博客
03-10 1715
网络数据采集是指通过程序在互联网上自动采集数据，采集数据所用的程序也被称为网络爬虫（Web crawler）。本文主要是记录一些网上数据采集常用的模块及其简单的相关操作。 文章目录urllib模块及其request子模块 requests模块 BeautifulSoup包 you-get包
互联网成数据宝库，网络数据采集技术推动人工智能发展
qzhida的博客
11-01 1309
文章来源：探码科技 算法、算力、数据是人工智能发展的三大要素，人工智能已经从讲技术教育市场的阶段,过渡到思考如何将技术与商业相结合落地的阶段，而数据作为Al算法的“燃料”，是实现这一能力的必要条件。因此，为机器学习算法训练提供数据采集、标注等服务的人工智能基础数据服务成为近年人工智能热潮中必不可少的一环。 数据采集和标注等形式的数据服务是推动人工智能发展的基础 人工智能基础数据服务指为AI算...
网络数据采集实验报告（供参考）
weixin_57848728的博客
12-01 1696
网络数据采集实验报告
数据采集过程介绍
weixin_43955820的博客
06-11 7441
数据采集过程介绍简介网站页面分析（AnalyseSite Page）链接抽取（Extract URL）链接过滤（Filt URL）内容抽取（Extract Content）爬取URL队列（Crawl URL Queue）数据（Data）数据的总体采集过程如下： 简介 网络数据多种多样、组成复杂，对于不同的目的有不同的利用价值和使用方式，所以网络数据的利用必须经过再次地采集和筛选过程，才能从庞大而又...
人工智能与IP代理池：解析网络数据采集的未来
苏凉.py的博客
04-16 2350
人工智能和IP代理池的结合为网络数据采集提供了强大的技术支持，为用户带来了更加便捷和高效的数据获取方式。通过将AI技术应用于IP代理池，我们可以突破网络限制，实现更加智能化和高效的网络数据采集和应用。未来，随着这一领域的不断探索和发展，我们相信人工智能与IP代理池将会发挥越来越重要的作用，为我们的数字化世界带来更多的惊喜和可能性。
pyhon网络数据采集
07-22
资源名称：pyhon网络数据采集资源截图： 资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
爬虫学习：XPath提取网页数据
qq_55038440的博客
05-07 487
上文初步了解了XPath的语法，这里介绍一个技巧，无需我们自己写XPath，使用浏览器自带工具即可，自动生成XPath。XPath是一种在XML文档中查找信息的语言，可以使用它在HTML源代码文档中通过元素、属性等方式进行查找和提取数据。获取标签属性值使用@属性名，以下案例获取了属性title值：@title。实例一：根据class属性进行匹配。实例三：根据name属性进行匹配。例：/div选取根元素div。例：XPath的常用语法格式。实例二：根据id属性进行匹配。选取此元素的所有子元素。
python爬虫
清影的博客
05-06 396
python爬虫
Symfony DomCrawler库在反爬虫应对中的应用
最新发布
Z_suger7的博客
05-11 630
Symfony DomCrawler库是Symfony框架的一个组件，它提供了一个方便的API来解析HTML和XML文档。我们可以使用Symfony DomCrawler库来模拟浏览器行为，获取动态加载的内容，从而绕过反爬虫的限制。通过本文的介绍，我们了解了反爬虫的原理以及如何利用Symfony DomCrawler库来绕过反爬虫的限制，实现获取动态加载内容的功能。Symfony DomCrawler库提供了丰富的功能和简单易用的接口，使得我们可以轻松地处理网页内容。
爬虫学习（1）简易网页采集器
PLANTTHESON的博客
05-06 380
爬取完成后，会将相应的html存放到搜索名+html文件中。如何使用: (reques ts模块的编码流程)将爬虫发出的请求伪装成浏览器发出的请求。将url携带的参数封装到字典中。代码运行会提示输入搜索内容。
scrapy常用命令总结
xiugtt6141121的博客
05-07 489
item : 定制你要抓取的字段 比方说你要去爬取一个网站 里面有标题 用name变量去接收 就先在item里面定制好接收的字段。允许爬取的域名: 为对于爬虫设置的爬取范围，设置之后用于过滤要爬取的url，如果爬取的url与允许的域不通则被过滤掉。2.通过命令创建出爬虫文件，爬虫文件为主要的代码文件，通常一个网站的爬取动作都会在爬虫文件中进行编写。setting：放的是你爬虫的最基本信息 包括爬虫的初始化伪装 也需要在这里面去完成。scrapy genspider
爬虫学习（2）破解百度翻译
PLANTTHESON的博客
05-06 428
方法来提取JSON格式的数据。这个方法会自动将JSON格式的响应内容转换为Python字典或列表，以便于在代码中进行处理。在百度翻译页面，右键选择“检查“，然后是Network，Fetch,如下图所示。是用于将HTTP响应体解析为JSON格式的方法。通常情况下，当你使用。库发送HTTP请求并得到响应后，可以使用。且返回的数据类型是json。1.找到要爬取的数据类型。
爬虫应该选择住宅ip代理还是数据中心代理？
smart_proxy_bo的博客
05-11 159
但数据中心ip时连号的，就是使用的时候上一个ip和下一个ip时连号的，对于目标站点更容易识别。数据中心代理是指是使用数据中心拥有并管理IP的代理，IP地址来源于数据中心机房，不需要其他设备再进行路由。因为设备的原因，数据中心代理是在中心机房中，设备是比较完善的；选择代理ip，首先肯定要根据自身的业务场景来决定，自身业务与代理ip是否符合需求。如果需要安全性高的话，更加真实，且价格要求低，就选择住宅ip代理。价格上数据中心因其设备的完善更高，配置也就越高，所以在价格上数据中心代理要高于住宅ip代理。
python网络数据采集pdf下载
10-22
Python是一种功能强大的编程语言，可用于各种任务，包括网络数据采集和PDF下载。在Python中，我们可以使用第三方库来实现这些功能。 要进行网络数据采集，我们可以使用Python的requests库。该库提供了简单而直观的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值