Day92 数据提取

于 2024-06-17 19:51:02 发布
阅读量39 收藏
点赞数
分类专栏： 100天软件测试升级打怪路 文章标签： 数据库 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gregcsdn/article/details/139752893
版权

Day92 数据提取

文章目录


本阶段课程主要学习获取响应之后如何从响应中提取我们想要的数据，在本阶段课程中我们会讲解一些常用的方法和模块，基本上我们以后遇到的情况在掌握本阶段课程之后都能搞定

数据提取概述

知识点
  • 了解 响应内容的分类
  • 了解 xml和html的区别

1. 响应内容的分类

在发送请求获取响应之后，可能存在多种不同类型的响应内容；而且很多时候，我们只需要响应内容中的一部分数据

  • 结构化的响应内容

    • json字符串

      • 可以使用re、json等模块来提取特定数据
      • json字符串的例子如下图

      在这里插入图片描述

    • xml字符串

      • 可以使用re、lxml等模块来提取特定数据

      • xml字符串的例子如下

        • 
    
      • 
  
    • 


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        

    

      

        

            

              
                
                  老板来片烤面包
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
数据分析-深度学习 NLP Day2关键词提取案例

				
			

			

				

					weixin_43902376的博客
				

				

					02-21
					
					1298
					
				

			

		

		

			
				
根据具体要处理的文本，计算每个词的TF值，并获取前面训练好的IDF数据，直接获取每个词的IDF值，综合计算每个词的TF-IDF。model为本主题模型的具体算法，分别可以传入LSI，LDA，默认为LSI。5 加载数据集，并对数据集中的数据分词和过滤干扰词。12 对上面的各个方法进行封装，统一算法调用接口。3）根据训练好的算法提取关键词；3）对数据集中的文档进行分词；4）根据停用词表，过滤干扰词；2）根据停用词表，过滤干扰词；2 定义好停用词表的加载方法。1）加载已有的文档数据集；5）根据数据集训练算法；

			
		

	



                

              
                



	

		

			

				
					
用matlab提取降雨数据,用R语言批量从气象网-格点数据集中提取特定位点数据

				
			

			

				

					weixin_31951989的博客
				

				

					03-16
					
					1723
					
				

			

		

		

			
				
一、从气象网获得1961-2016年的中国地面降水日值0.5°×0.5°格点数据集(V2.0)数据集实体文件名称：中国降水日值0.5°×0.5°格点数据集文件命名由数据集代码(SURF_CLI_CHN_PRE_DAY_GRID_0.5)、年月日标识(YYYYMMDD)组成。具体形式：SURF_CLI_CHN_PRE_DAY_GRID_0.5-YYYYMMDD.TXT每日格点数据的格式如下(以198...

			
		

	



                


  
              

                


	

		

			

				
					
python模块: lxml

				
			

			

				

					06-23
				

			

		

		

			
				
包含：libxml2-2.9.4.tar.gz libxslt-1.1.28.tar.gz lxml-3.8.0.tar.gz 
步骤参考：
1）tar -zxvf libxml2-2.9.4.tar.gz
cd libxml2-2.9.4
./configure --prefix=/usr/local/libxml2/ --with-python=/usr/local/python27/bin/python
make && make install

2）tar -zxvf libxslt-1.1.28.tar.gz
cd libxslt-1.1.28
./configure --prefix=/usr/local/libxslt/ --with-python=/usr/local/python27/bin/python --with-libxml-prefix=/usr/local/libxml2 --with-libxml-include-prefix=/usr/local/libxml2/include/ --with-libxml-libs-prefix=/usr/local/libxml2/lib/
make && make install

3）libxml2和libxslt安装成功后，进入lxml源码目录
tar -zxvf lxml-3.8.0.tar.gz
cd lxml-3.8.0
python27 ./setup.py install --with-xml2-config=/usr/local/libxml2/bin/xml2-config --with-xslt-config=/usr/local/libxslt/bin/xslt-config

			
		

	





	

		

			

				
					
三 Python爬虫之数据提取

				
			

			

				

					东风麦芽糖
				

				

					04-03
					
					498
					
				

			

		

		

			
				
jsonpath模块的使用场景以及使用方法 jsonpath模块提取数据的方法以及语法  xpath helper插件的安装和使用  xpath语法  lxml模块的的使用

			
		

	



		

			
		



	

		

			

				
					
python中的lxml模块

				
			

			

				

					ahr7882的博客
				

				

					01-10
					
					644
					
				

			

		

		

			
				
Python中自带了XML的模块，但是性能不太好，相比之下，LXML增加了很多实用的功能。
lxml中主要有两部分，
1) etree，主要可以用来解析XML字符串，
　　内部有两个对象，etree._ElementTree和etree._Element
　etree.Element对象中包含的属性和方法：
属性：1)tag，返回该节点的名称：
　　　　　　print 'ro...

			
		

	





	

		

			

				
					
Python-- lxml用法

				
			

			

				

					ydw_ydw的博客
				

				

					08-30
					
					2万+
					
				

			

		

		

			
				
目录

lxml库（lxml安装可查看上一篇文章）

Element类

1、节点操作

2、属性操作

3、文本操作

4、文件解析与输出

5、ElementPath

6、案例（尤其最后的一篇代码） 

 

lxml库（lxml安装可查看上一篇文章）

python的HTML/XML的解析器
	官方文档：   http://lxml.de/index.html
	功能：
	解析HTML
	...

			
		

	





	

		

			

				
					
python爬虫之lxml

					
最新发布

				
			

			

				

					Tudective的博客
				

				

					03-14
					
					1295
					
				

			

		

		

			
				
lxml是Python中一个非常强大的XML和HTML处理库。它是基于C语言的libxml2库进行开发的，具有高性能和高效的特点，适用于解析和操作大型XML和HTML文档。lxml库提供了一些非常方便的功能，包括：解析XML和HTML文档：lxml可以将XML和HTML文档解析为树状结构，以便于对文档进行操作和查询。定位元素：lxml支持使用XPath和CSS选择器来定位文档中的元素，从而方便地提取出所需的数据。

			
		

	





	

		

			

				
					
python 实现提取某个索引中某个时间段的数据方法

				
			

			

				

					09-19
				

			

		

		

			
				
在Python编程中，有时我们需要从大量数据中提取特定时间段内的信息，特别是在数据分析或日志处理等场景下。本篇将介绍如何使用Python来实现这一功能，特别是在处理Elasticsearch中的数据时。Elasticsearch是一个强大...

			
		

	





	

		

			

				
					
数据处理Pandas-提取Excel日期数据年月日-Python实例源码.zip

				
			

			

				

					12-13
				

			

		

		

			
				
本实例主要聚焦于如何使用Pandas从Excel文件中提取日期数据，并将其拆分为年、月、日三个部分。以下是对这个主题的详细阐述：  首先，我们需要导入必要的库，包括Pandas（用于数据操作）和openpyxl（用于读取Excel...

			
		

	





	

		

			

				
					
python的lxml模块，

				
			

			

				

					wanggaoxingH的博客
				

				

					09-14
					
					339
					
				

			

		

		

			
				
无

			
		

	





	

		

			

				
					
python之lxml安装包

				
			

			

				

					12-30
				

			

		

		

			
				
lxml-3.4.4-cp27-none-win_amd64.whl
适用于python27
适用于win8.1 64bit 不可用于win10 64bit
先安装pip install wheel
再执行:pip install lxml-3.4.4-cp27-none-win_amd64.whl

			
		

	





	

		

			

				
					
Python lxml模块

				
			

			

				

					lx1315998513的博客
				

				

					04-25
					
					366
					
				

			

		

		

			
				
lxml：python用来解析xml和html模块，用这个模块就可以使用xpath语法。
标题xpath（语法） 就相当于一个路径一样，可以匹配html和xml想要的内容数据
1、什么是xpath？
		xpath就是用来筛选html或者xml中元素语法。如果匹配标签和元素，则返回element对象，如果匹配到的是标签和text，则返回字符串
2、xml和html中一些名词。
		元素
		标签
...

			
		

	





	

		

			

				
					
python lxml模块_python3学习-lxml模块

				
			

			

				

					weixin_39584405的博客
				

				

					12-06
					
					116
					
				

			

		

		

			
				
在爬虫的学习中，我们爬取网页信息之后就是对信息项匹配，这个时候一般是使用正则。但是在使用中发现正则写的不好的时候不能精确匹配(这其实是自己的问题！)所以就找啊找。想到了可以通过标签来进行精确匹配岂不是比正则要快。所以找到了lxml。因为lxml是对xml格式的解析，支持html格式，而对于xml格式的解析有一门专用的语言，XPath。XPath用于在xml文档中通过元素和属性进行导航。lxml库也...

			
		

	





	

		

			

				
					
【Python技能树共建】lxml 模块

				
			

			

				

					梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
				

				

					05-05
					
					2万+
					
				

			

		

		

			
				
Python lxml 模块
lxml 库是一款 Python 数据解析库，参考重要文档在 https://lxml.de/，项目开源地址在：https://github.com/lxml/lxml，在一顿检索之后，发现 lxml 没有中文相关手册，不过好在英文文档阅读难度不大，我们可以直接进行学习。
怎么用
lxml.etree
纵览之前的博客内容，出场率最高的就是 lxml.etree ，其次就是 Element 对象，我们在解析数据的时候，大量的代码都是基于 Element 对象的 API 实现。
在

			
		

	





	

		

			

				
					
python中lxml模块的使用

				
			

			

				

					菜鸡小白的成长记录
				

				

					12-15
					
					4501
					
				

			

		

		

			
				
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
1.lxml的安装
pip install lxml

2.导入lxml 的 etree 库
 from lxml import etree

3.利用etree.HTML，将字符串转化为Element对象,Element对象具有xpath的方法,返回结果的列表，能够接受bytes类型的数据...

			
		

	





	

		

			

				
					
Python中lxml模块的安装

					
热门推荐

				
			

			

				

					杰瑞的专栏
				

				

					02-12
					
					4万+
					
				

			

		

		

			
				
lxml是Python中与XML及HTML相关功能中最丰富和最容易使用的库。lxml并不是Python自带的包，而是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是它兼顾了这些库的速度和功能完整性，以及纯Python API的简洁性，与大家熟知的ElementTree API兼容但比之更优越！但安装lxml却又有点麻烦，因为存在依赖，直接安装的话用easy_install, pip都不能成功，会报gcc错误。下面列出来Windows、Linux下面的安装方法:

			
		

	





	

		

			

				
					
window下python安装 lxml模块

				
			

			

				

					cbzhunian
				

				

					05-09
					
					991
					
				

			

		

		

			
				
在python环境安装目录下的script目录下，cmd使用pip install lxmlm(前提是有pip模块)命令基本是安装不了lxml模块的，会报错。

因此就需要是官网下载whl文件，链接如下：

https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

需要注意的是自己的python环境要跟版本一致

 版本号在cp后面的数字 36即pytho...

			
		

	





	

		

			

				
					
Python lxml模块安装教程

				
			

			

				

					LGX_TvT的博客
				

				

					10-25
					
					4568
					
				

			

		

		

			
				
lxml是Python中与XML及HTML相关功能中最丰富和最容易使用的库。
lxml并不是Python自带的包，而是为libxml2和libxslt库的一个Python化的绑定。它与众不同的地方是它兼顾了这些库的速度和功能完整性，以及纯Python API的简洁性，与大家熟知的ElementTree API兼容但比之更优越！但安装lxml却又有点麻烦，因为存在依赖，直接安装的话用easy_in

			
		

	





	

		

			

				
					
scanf提取gprmc数据

				
			

			

				

					02-06
				

			

		

		

			
				
scanf函数是一种用于从输入流中读取和解析数据的C库函数。... int year, month, day;  int hour, minute, second;  float latitude, longitude;  float speed, bearing;   // 读取日期、时间、纬度、经度、速度和方

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
老板来片烤面包

			
君子博学于文，赠之以礼,谢君~

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值