Python读取本地文件并解析网页元素

最新推荐文章于 2024-09-23 10:31:04 发布
最新推荐文章于 2024-09-23 10:31:04 发布
阅读量1.1w 收藏 8
点赞数
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kajweb/article/details/54745114
版权 
from bs4 import BeautifulSoup

path = './web/new_index.html'

with open(path, 'r') as f:
    Soup = BeautifulSoup(f.read(), 'lxml')
    titles = Soup.select('ul > li > div.article-info > h3 > a')

for title in titles:
    print(title.text)


输出：
Sardinia's top 10 beaches
How to get tanned
How to be an Aussie beach bum
Summer's cheat sheet




#其中
titles = Soup.select('ul > li > div.article-info > h3 > a')
#等效
titles = Soup.select('h3 a')






















print(title.text)
#等效
print(title.get_text())
print(title.string)























也可以使用以下代码



import bs4

path = './web/new_index.html'

with open(path, 'r') as f:
    Soup = bs4.BeautifulSoup(f.read(), 'lxml')

    titles = Soup.select('h3 a')
for title in titles:
    print(title.string)



























Html原文：




<html>
<head>
    <link rel="stylesheet" type="text/css" href="new_blah.css">
</head>
<body>
    <div class="header">
        <img src="images/blah.png">
        <ul class="nav">
            <li><a href="#">Home</a></li>
            <li><a href="#">Site</a></li>
            <li><a href="#">Other</a></li>
        </ul>
    </div>
    <div class="main-content">
        <h2>Article</h2>
        <ul class="articles">
            <li>
                <img src="images/0001.jpg" width="100" height="91">
                <div class="article-info">
                    <h3><a href="www.sample.com">Sardinia's top 10 beaches</a></h3>
                    <p class="meta-info">
                        <span class="meta-cate">fun</span>
                        <span class="meta-cate">Wow</span>
                    </p>
                    <p class="description">white sands and turquoise waters</p>
                </div>
                <div class="rate">
                    <span class="rate-score">4.5</span>
                </div>
            </li>
            <li>
                <img src="images/0002.jpg" width="100" height="91">
                <div class="article-info">
                    <h3><a href="www.sample.com">How to get tanned</a></h3>
                    <p class="meta-info">
                        <span class="meta-cate">butt</span><span class="meta-cate">NSFW</span>
                    </p>
                    <p class="description">hot bikini girls on beach</p>
                </div>
                <div class="rate">
                    <img src="images/Fire.png" width="18" height="18">
                    <span class="rate-score">5.0</span>
                </div>
            </li>
            <li>
                <img src="images/0003.jpg" width="100" height="91">
                <div class="article-info">
                    <h3><a href="www.sample.com">How to be an Aussie beach bum</a></h3>
                    <p class="meta-info">
                        <span class="meta-cate">sea</span>
                    </p>
                    <p class="description">To make the most of your visit</p>
                </div>
                <div class="rate">
                    <span class="rate-score">3.5</span>
                </div>
            </li>
            <li>
                <img src="images/0004.jpg" width="100" height="91">
                <div class="article-info">
                    <h3><a href="www.sample.com">Summer's cheat sheet</a></h3>
                    <p class="meta-info">
                        <span class="meta-cate">bay</span>
                        <span class="meta-cate">boat</span>
                        <span class="meta-cate">beach</span>
                    </p>
                    <p class="description">choosing a beach in Cape Cod</p>
                </div>
                <div class="rate">
                    <span class="rate-score">3.0</span>
                </div>
            </li>
        </ul>
    </div>
    <div class="footer">
        <p>&copy; Mugglecoding</p>
    </div>
</body>
</html>









                

        

        

    

  


    

      

        

            

              
                
                  林毅洋
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
100天精通Python（进阶篇）——第36天：Python读写XML文件

				
			

			

				

					努力让自己发光，对的人才能迎着光而来
				

				

					05-03
					
					2万+
					
				

			

		

		

			
				
100天精通Python---第36天：Python操作XML文件

			
		

	



                

            
              



	

		

			

				
					
抓取网页上的任意元素

				
			

			

				

					12-08
				

			

		

		

			
				
通过元素Id，抓取网页上的任意元素，也可以用于打印

			
		

	



              


  
              

                


	

		

			

				
					
爬虫（一）—解析本地网页

				
			

			

				

					践理
				

				

					05-21
					
					2445
					
				

			

		

		

			
				
认识网页结构




形象介绍网页内容： 
html相当于规划房子里每个屋子的功能。
css相当于给每个屋子里进行装修 
JavaScript则是给每个屋子里配置电器


在网页中的一段代码



&amp;amp;amp;amp;amp;amp;amp;amp;lt;div class='a'&amp;amp;amp;amp;amp;amp;amp;amp;gt;
    &amp;amp;amp;amp;amp;amp;amp;amp;lt;p&amp;amp;amp;a

			
		

	





	

		

			

				
					
一.python入门

					
最新发布

				
			

			

				

					我是个好人呀，????
				

				

					09-23
					
					1837
					
				

			

		

		

			
				
所谓“工欲善其事，必先利其器”，在正式学习Python之前要先搭建Python开发环境。由于Python是跨平台的，所以可以在多个操作系统上进行编程，常用的操作系统及说明如下表所示。

			
		

	



		

			
		



	

		

			

				
					
python解析本地网页中的元素

				
			

			

				

					zhikanjiani的博客
				

				

					08-30
					
					1940
					
				

			

		

		

			
				
本次学习使用到的文件：
链接：https://pan.baidu.com/s/1Kp0yZ-zHFJ0WmM1UZCRMOA
提取码：uhev
需求：学会筛选处所有评分大于3的文章展现标题和对应的分类
第一步：使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,‘lxml’)

如何理解：soup --> 汤，html --> 汤料，‘lxml...

			
		

	





	

		

			

				
					
python建本地web服务器

				
			

			

				

					Ryan
				

				

					09-17
					
					1162
					
				

			

		

		

			
				
Python 2,一个人可以使用



 python -m SimpleHTTPServe

用Python 3,一个人可以使用

 python -m http.server

但任何其他web服务器将工作。

			
		

	





	

		

			

				
					
Python爬虫——XPath解析本地html文件

				
			

			

				

					万里顾一程的博客
				

				

					07-26
					
					6696
					
				

			

		

		

			
				
XPathXML路径语言（XMLPathLanguage），XPath作用是确定XML文档中某部分的位置，同时它也可以用于检索HTML文件。在使用爬虫过程中可以用XPath来爬取网页中想要的数据。Xpath使用简洁的路径表达式来匹配XML/HTML文档中的节点或者节点集，通过定位网页中的节点，从而找到我们需要的数据。Xpath提供了100多个内建函数，包括了处理字符串、数值、日期以及时间的函数。因此Xpath路径表达式几乎可以匹配所有的元素节点。......

			
		

	





	

		

			

				
					
Python读取本地文件并解析网页元素的方法

				
			

			

				

					09-20
				

			

		

		

			
				
在Python编程中，读取本地文件并解析网页元素是数据抓取或网页解析的重要步骤，常用于自动化测试、数据挖掘和信息提取等场景。这里主要介绍如何使用BeautifulSoup库来实现这一目标。BeautifulSoup是一个强大的HTML和...

			
		

	





	

		

			

				
					
Python简单读取json文件功能示例

				
			

			

				

					09-21
				

			

		

		

			
				
本示例将详细讲解如何使用Python来简单读取JSON文件，并提供相关的操作技巧。  首先，让我们了解JSON的基本结构。JSON数据通常由键值对组成，这些键值对用冒号分隔，而不同的键值对之间则用逗号分隔。整个数据结构被...

			
		

	





	

		

			

				
					
python读取本地文件-python解析本地HTML文件

				
			

			

				

					06-06
				

			

		

		

			
				
要读取本地文件，您可以使用Python内置的open()函数。例如，要打开一个名为“index.html”的HTML文件，您可以使用以下代码：  ``` with open('index.html', 'r') as file:  content = file.read() ```  这将打开文件...

			
		

	





	

		

			

				
					
python解析本地HTML文件

				
			

			

				

					python学习者的博客
				

				

					09-23
					
					1万+
					
				

			

		

		

			
				
Python使用爬虫技术时，每运行一次，本地都会访问一次主机。为避免完成程序前调试时多次访问主机增加主机负荷，我们可以在编写程序前将网页源代码存在本地，调试时访问本地文件即可。现在我来分享一下爬取资料的调试过程。
一、将网页源代码存在本地
1、打开需要爬取的网页，鼠标右键查看源代码

2、复制源代码，将代码保存至本地项目文件目录下，文件后缀改为.html

二、在Python中打开本地html文件
打开并读取本地文件可使用BeautifulSoup方法直接打开
 soup=BeautifulSoup(ope

			
		

	





	

		

			

				
					
python读取本地网页_Python读取本地文件并解析网页元素的方法

				
			

			

				

					weixin_42502736的博客
				

				

					02-21
					
					1098
					
				

			

		

		

			
				
如下所示：from bs4 import BeautifulSouppath = './web/new_index.html'with open(path, 'r') as f:Soup = BeautifulSoup(f.read(), 'lxml')titles = Soup.select('ul > li > div.article-info > h3 > a')fo...

			
		

	





	

		

			

				
					
网页版python怎样加载文件_Python读取本地文件并解析网页元素的方法

				
			

			

				

					weixin_39649405的博客
				

				

					11-29
					
					111
					
				

			

		

		

			
				
如下所示：from bs4 import BeautifulSouppath = './web/new_index.html'with open(path, 'r') as f:Soup = BeautifulSoup(f.read(), 'lxml')titles = Soup.select('ul > li > div.article-info > h3 > a')for title in t...

			
		

	





	

		

			

				
					
Python读取本地html文件，获取其中表格内容

				
			

			

				

					Dong的博客
				

				

					12-01
					
					1万+
					
				

			

		

		

			
				
python读取本地html文件并进行简单的处理来获取文字

			
		

	





	

		

			

				
					
python读取本地html文件并解析网页元素

				
			

			

				

					zy_whynot的博客
				

				

					04-26
					
					1万+
					
				

			

		

		

			
				
BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。
with open('test.html', 'r', encoding='utf-8') as f:
 	Soup = BeautifulSoup(f.read(), 'html.parser')
 	titles = Soup....

			
		

	





	

		

			

				
					
【方法】HTML网页调用本地Python程序

					
热门推荐

				
			

			

				

					crazyang的博客
				

				

					05-07
					
					18万+
					
				

			

		

		

			
				
代码已上传github

首先声明，在HTML中调用本地Python程序是十分不推荐的，一是因为网页调用本地程序的权限正在被取消，二是因为真不如JS写直接，三是只能在自己本地调用。

但如果你要用，像我一样，需要在课堂上进行一个Python代码的展示，并且想要一个好看的UI界面的话，可以这样来做，做起来还是很容易的，但这样的展示仅限于需要弹框的，比如我的人脸检测是弹窗式，如果需要内嵌在网页内...

			
		

	





	

		

			

				
					
使用python生成本地html文件

				
			

			

				

					医学影像学习笔记
				

				

					06-16
					
					6万+
					
				

			

		

		

			
				
一.静态HTML生成方法#coding:utf-8
_author_ = "LiaoPan"
_time_  = "2016.6.16"f = open("demo_1.html",'w')
message = """
<html>
<head></head>
<body>
<p>Hello,World!</p>
<p>demo</p>
</body>
</html>"""f.write(messa

			
		

	





	

		

			

				
					
python程序官方网站-IO编程

				
			

			

				

					weixin_37988176的博客
				

				

					11-01
					
					224
					
				

			

		

		

			
				
IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。比如你打开浏览器，访问新浪首页，浏览器这个程序就需要通过网络IO获取新浪的网页。浏览器首先会发送数据给新浪服务器，告诉它我想要首页的HTML，这个动作是往外发数据，叫Output，随后新浪服务器把网页发过来，这个...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值