【爬虫练手小demo】爬取古诗词

最新推荐文章于 2021-10-31 09:30:05 发布
最新推荐文章于 2021-10-31 09:30:05 发布
阅读量371 收藏 7
点赞数 1
分类专栏： 爬虫 文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25590283/article/details/104632222
版权
本文介绍了一个使用Python爬虫抓取古诗词的实践案例，重点关注如何按照‘爱情’、‘春天’等分类爬取。通过观察HTML结构，利用XPath选择器获取每个诗词的链接、朝代、诗人及内容。对于不同格式的内容，采取了针对性的解析策略。最终，爬取结果被保存为CSV文件。
摘要由CSDN通过智能技术生成

爬取的网站链接为 base_url= https://www.gushiwen.org/

想按照页面右边栏的各个分类进行爬取，例如“春天”，“夏天”，“爱情”，“爱国”等。

拿“爱情”类别举例，点进去发现链接变为 https://so.gushiwen.org/gushi/aiqing.aspx

ctrl+shift+I   观察html页面结构   发现每个诗的链接都藏在<div class="typecont">下，通过xpath很容易获取链接。

base_url 加上这里<a href>后面的链接即可找到诗词所在页面：

同样的道理获取朝代、诗人、内容。

获取内容时要注意，有的格式为<div> 文本</div>，但是有的格式为<div> <p>文本</p> </div>

所以要先获取到上一级之后 再用 .xpath("string(.)")。 全部代码如下：


                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Sheery_
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    7
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Python爬虫 爬取古诗词

				
			

			

				

					weixin_50843522的博客
				

				

					10-10
					
					3493
					
				

			

		

		

			
				
一、需求
爬取网址：https://www.gushiwen.org/
需求：
（1）获取侧边栏【类型】信息；
（2）获取每个类型中古诗文详情页信息；
（3）提取详情页数据：古诗文名、作者、朝代、类型、内容、译文及注释；
（4）将数据保存到 csv 文件；
二、代码实现

```python
import requests
import csv
from lxml import etree

start_url = "https://so.gushiwen.cn/shiwen/"
base_url = "h

			
		

	



                

              
                



	

		

			

				
					
python爬虫古诗词

				
			

			

				

					06-18
				

			

		

		

			
				
python爬虫古诗文网站

			
		

	



                


  
              

                


	

		

			

				
					
古诗词爬虫

				
			

			

				

					王斯的博客
				

				

					11-04
					
					402
					
				

			

		

		

			
				
古诗词爬虫
爬取网站：https://www.diyifanwen.com/sicijianshang/tangshisanbaishou/
导入模块
import requests
from lxml import etree
import pandas as pd
import re

headers = {
       'user-agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;'
}
res = requ

			
		

	





	

		

			

				
					
java 爬虫_Java原生代码实现爬虫（爬取小说）

				
			

			

				

					weixin_39797686的博客
				

				

					12-02
					
					381
					
				

			

		

		

			
				
Java也能做爬虫。现在提到爬虫人第一个想到的就是python，其实使用Java编写爬虫也是很好的选择，Java成熟的爬虫框架很多，下面给大家展示一个使用Java基础语言编写的爬取小说的案例：实现功能： 爬取目标网站全本小说代码编写环境： JDK：1.8.0_191 Eclipse：2019-03 (4.11.0)素材： 网站：http://www.shicimingju.com(如有侵权，请联系...

			
		

	



		

			
		



	

		

			

				
					
古诗爬取

				
			

			

				

					PXXPY的博客
				

				

					08-09
					
					172
					
				

			

		

		

			
				
IP代理爬取
直接代码
import re
import requests
import time
# url = 'https://www.gushiwen.org/default_1.aspx'


def parse_page(url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4

			
		

	





	

		

			

				
					
爬虫实例：唐诗宋词爬虫

				
			

			

				

					
				

				

					10-09
					
					431
					
				

			

		

		

			
				
每年都期待夏天赶紧变成秋天，没有木头马尾的九月，没有颜色奇迹的南方，只得古诗词里把情绪商量，算云烟，此处认春秋。


基本分析
1.根据古诗词网页结构，可以看出诗词正文有两种结构，一种是p标签分隔的，一种是br标签分隔的

from lxml import etree

s = """
<div id="contson47919" class="contson...

			
		

	





	

		

			

				
					
爬虫练手项目1_爬取百度贴吧

				
			

			

				

					09-21
				

			

		

		

			
				
爬虫练手项目，爬取百度贴吧，并保存为html

			
		

	





	

		

			

				
					
爬虫学习笔记：爬取古诗文网

				
			

			

				

					12-21
				

			

		

		

			
				
在本篇【爬虫学习笔记：爬取古诗文网】中，我们探讨了一种针对古诗文网站的网络爬虫实现，目的是抓取古诗的内容、作者和朝代，并将这些信息保存到本地文件中。以下是具体的技术点和过程详解：  1. **目标网站**：  ...

			
		

	





	

		

			

				
					
爬虫自学——爬取古诗词网唐诗三百首

				
			

			

				

					qq_55923194的博客
				

				

					10-31
					
					2387
					
				

			

		

		

			
				
from bs4 import BeautifulSoup as bs
import requests
import json

url='https://so.gushiwen.cn/gushi/tangshi.aspx'
header={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
}
fp

			
		

	





	

		

			

				
					
中国诗词网

				
			

			

				

					05-06
				

			

		

		

			
				
学校的实训作品，有首页和内容页，有登录注册功能，有SQL server做的数据库

			
		

	





	

		

			

				
					
爬虫练手项目3_爬取百度图片

				
			

			

				

					09-21
				

			

		

		

			
				
爬虫练手项目，爬取百度图片

			
		

	





	

		

			

				
					
python输出古诗词_python爬虫——爬取古诗词

				
			

			

				

					weixin_39847945的博客
				

				

					11-23
					
					1650
					
				

			

		

		

			
				
一. 概要1.通过python爬虫循环爬取古诗词网站唐诗宋词2.落地到本地数据库二. 页面分析首先通过firedebug进行页面定位：其次源码定位：最终生成lxml etree定位div标签源码：# 通过 lxml进行页面分析​response = etree.HTML(data)# div层定位for row in response.xpath('//div[@class="left"]/div...

			
		

	





	

		

			

				
					
python3爬取古诗词

				
			

			

				

					weixin_33708432的博客
				

				

					04-27
					
					758
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
爬取古诗词网（使用正则）

				
			

			

				

					__tian__的博客
				

				

					10-11
					
					703
					
				

			

		

		

			
				
一、正则使用

正则表达式常用匹配规则：

匹配某个字符串：


text = 'hello'
ret = re.match('he',text)
print(ret.group())
>> he


以上便可以在hello中，匹配出he。

点（.）匹配任意的字符：


text = "ab"
ret = re.match('.',text)
print(ret.group())
...

			
		

	





	

		

			

				
					
python3爬虫 -----爬取古诗文-------from古诗文网站

				
			

			

				

					weixin_30385925的博客
				

				

					10-19
					
					433
					
				

			

		

		

			
				
1 # -*- coding: utf-8 -*-
 2 #author:zxy
 3 #Date:2018-10-19
 4 
 5 
 6 import requests
 7 import re
 8 HEADERS={
 9     "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/5...

			
		

	





	

		

			

				
					
爬虫实战——古诗文网古诗爬取

				
			

			

				

					小森豆丁
				

				

					04-14
					
					1307
					
				

			

		

		

			
				
import re
import requests

# url = 'https://www.gushiwen.org/default_1.aspx'


def parse_page(url):
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...

			
		

	





	

		

			

				
					
古诗词网爬虫实现

				
			

			

				

					dfh5102521的专栏
				

				

					12-30
					
					382
					
				

			

		

		

			
				
项目链接：
https://github.com/WES6/poem

转载于:https://www.cnblogs.com/weswes/p/10199566.html

			
		

	





	

		

			

				
					
古诗文网站之网络爬虫

				
			

			

				

					qq_42281053的博客
				

				

					06-15
					
					2436
					
				

			

		

		

			
				
1. 下面是古诗文网站的网络爬虫代码# encoding:utf-8
import requests
import re
import json


def parse_page(url):
    # 1.请求网站
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit...

			
		

	





	

		

			

				
					
python爬虫代码爬取古诗词

					
最新发布

				
			

			

				

					12-10
				

			

		

		

			
				
以下是一个使用Python爬虫框架Scrapy爬取古诗词的示例代码：

```python
import scrapy

class PoemSpider(scrapy.Spider):
    name = 'poemSpider'
    start_urls = ['https://www.gushiwen.org/gushi/tangshi.aspx']

    def parse(self, response):
        poem_list = response.xpath('//div[@class="left"]/div[@class="sons"]/div[@class="cont"]')
        for poem in poem_list:
            title = poem.xpath('./a/b/text()').get()
            author = poem.xpath('./a[@href]/text()').get()
            content = poem.xpath('./div[@class="contson"]/text()').getall()
            content = ''.join(content).strip()
            yield {
                'title': title,
                'author': author,
                'content': content
            }

        next_page = response.xpath('//div[@class="pages"]/a[@class="amore"]/@href')
        if next_page:
            yield response.follow(next_page[0], self.parse)
```

这个爬虫代码使用Scrapy框架，爬取了古诗词网站唐诗三百首页面的诗词标题、作者和内容，并将结果以字典形式输出。你可以将这个代码保存为.py文件，然后在Terminal窗口中输入命令“scrapy crawl poemSpider”，回车运行即可完成数据的爬取。



			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值