Python应用-爬虫实战-求是网周刊文章爬取

抓取《求是》2019年第一期新闻URL：正则与网页解析实战,
原创 已于 2023-11-07 15:08:27 修改 · 6.4k 阅读 · 58 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫

于 2023-11-07 10:57:05 首次发布
该文章已生成可运行项目，

第1关：获取新闻url

任务描述

本关任务：编写一个爬虫，并使用正则表达式获取求是周刊2019年第一期的所有文章的url。详情请查看《求是》2019年第1期 。

相关知识

获取每个新闻的url有以下几个步骤：

  • 首先获取2019年第1期页面的源码，需要解决部分反爬机制；

  • 找到目标url所在位置，观察其特征；

  • 编写正则表达式，获取目标数据。

编程要求

根据提示，在右侧编辑器Begin-End处补充代码，使用正则表达式获取求是周刊2019年第一期的所有文章的url，返回的是一个包含所有url的列表。

测试说明

补充完代码后，点击测评，平台会对你编写的代码进行测试，当你的结果与预期输出一致时，即为通过。

预期输出：

 

  1. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123924154.htm
  2. http://www.qstheory.cn/dukan/qs/2018-12/31/c_1123923896.htm
  3. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123923886.htm
  4. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123923852.htm
  5. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123923828.htm
  6. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123923817.htm
  7. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123923778.htm
  8. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123923740.htm
  9. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123923715.htm
  10. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123923686.htm
  11. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123922609.htm
  12. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123922550.htm
  13. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123922484.htm
  14. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123922467.htm
  15. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123922434.htm
  16. http://www.qstheory.cn/dukan/qs/2019-01/01/c_1123924169.htm




开始你的任务吧，祝你成功！
 

此题需要用到正则表达式，以及soup中获取属性的函数get('href')
 

上代码：
 

import requests
import bs4
import re

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76'
}
def geturls():
    # ********** Begin ********** #

    responde = requests.get(f'http://www.qstheory.cn/dukan/qs/2014/2019-01/01/c_1123924172.htm')
    responde.encoding ='utf-8'
    content = responde.text
    soup = bs4.BeautifulSoup(content,'html.parser')

    all_a = soup.find_all('a')
    urls = []
    for a in all_a:
        if re.findall(r'\w*dukan\w*', a.get('href')) and '1123932149' not in str(a.get('href')):
            urls.append(a.get('href'))

    # ********** End ********** #
    return urls

if __name__ == "__main__":
    urls = geturls()
    for x in urls:
        print(x)
 

 

 第2关：获取文章内容
 

任务描述
 

本关任务：编写一个爬虫，请求上一关获取的每个url，获取每篇文章的标题、作者、正文以及文章中全部图片的完整url。
 

相关知识
 

为了完成本关任务，你需要掌握xpath的基本使用。
 

选取节点：
 

路径表达式结果
bookstore选取 bookstore 元素的所有子节点
/bookstore选取根元素 bookstore。注：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！
bookstore/book选取属于 bookstore 的子元素的所有 book 元素。
//book选取所有 book 子元素，而不管它们在文档中的位置。
bookstore//book选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。
//@lang选取名为 lang 的所有属性。




谓语：
 

路径表达式结果
/bookstore/book[1]选取属于 bookstore 子元素的第一个 book 元素。
/bookstore/book[last()]选取属于 bookstore 子元素的最后一个 book 元素。
/bookstore/book[last()-1]选取属于 bookstore 子元素的倒数第二个 book 元素。
/bookstore/book[position()<3]选取最前面的两个属于 bookstore 元素的子元素的 book 元素。
//title[@lang]选取所有拥有名为 lang 的属性的 title 元素。
//title[@lang='eng']选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。
/bookstore/book[price>35.00]选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。
/bookstore/book[price>35.00]/title选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。




选取未知节点：
 

路径表达式结果
/bookstore/*选取 bookstore 元素的所有子元素。
//*选取文档中的所有元素。
//title[@*]选取所有带有属性的 title 元素。




编程要求
 

根据提示，在右侧编辑器Begin...End中补充代码，请求上一关获取的每个url，将每篇文章的标题、作者、正文以及文章中全部图片的完整url，并按照以下格式保存：
 

。。。。。。
 

测试说明

 

补充完代码后，点击测评，平台会对你编写的代码进行测试，当你的结果与预期输出一致时，即为通过。
 

在代码中我使用了xpath的查询语句和BeautifulSoup，感觉混合使用比较方便哈哈哈，还是功夫不到家。
 

上代码：
 

import requests
import bs4
import re
from lxml import etree


def parsepage(urls):
    mainbody = []
    headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76'
}
    for url in urls:
        response = requests.get(url, headers=headers)
        response.encoding = 'utf-8'
        soup = bs4.BeautifulSoup(response.text,'html.parser')
        tree = etree.HTML(response.text)

        # 获取图片的url
        img_urls = tree.xpath('//div[@class="highlight"]//img/@src')
        # 获取标题并去除首尾空格

        title = tree.xpath('//h1/text()')[0].strip()

        # 获取作者并去除首尾空格
        author = tree.xpath('//span[@class="appellation"]/text()')[1].strip()[3:]
        
        #获取正文内容
        content_t =''
        for p in soup.find_all('p'):
            content_t += p.text.strip()

        #保存提取的信息
        mainbody.append({
            'title': title,
            'author': author,
            'content': content_t,
            'imgurl': img_urls
        })
    return mainbody
 

都看到这里了，点个赞不过分吧( •̀ ω •́ )✧
 


                

        

    

      

        

          

          

            本文章已经生成可运行项目 
          

        

        

          
          
        

      


  



    

      

        

            

              
                
                  Radish_c
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
爬虫实战——求是网周刊文章爬取

				
			

			

				

					Junds0的博客
				

				

					09-30
					
					3451
					
				

			

		

		

			
				
bookstore//book	选择属于 bookstore 元素的后代的所有 book 元素，而不管它们位于 bookstore 之下的什么位置。本关任务：编写一个爬虫，并使用正则表达式获取求是周刊2019年第一期的所有文章的url。本关任务：编写一个爬虫，请求上一关获取的每个url，获取每篇文章的标题、作者、正文以及文章中全部图片的完整url。bookstore/book	选取属于 bookstore 的子元素的所有 book 元素。//book	选取所有 book 子元素，而不管它们在文档中的位置。

			
		

	



                

            
              



	

		

			

				
					
爬虫实战——爬取求是网周刊文章（Educoder）

				
			

			

				

					DevRevolt的博客
				

				

					08-15
					
					2356
					
				

			

		

		

			
				
BeautifulSoup是一个专门用于解析HTML和XML文档的库，它可以将复杂的HTML文档转换为Python对象，并提供了一些便捷的方法来搜索和提取所需的数据。在本篇文章中，我将会详细介绍如何使用爬虫技术来爬取求是网周刊上的文章，并附上相应的Python源代码。作为一个教育编程网站，Educoder提供了丰富的学习资源和实践项目，我们可以通过爬虫获取这些有价值的知识并加以利用。然而，作为一名合规的爬虫开发者，我们需要遵守相关的法律法规，并尊重网站的规定，避免给目标网站带来不必要的压力和损失。

			
		

	



              


  
  
              

                


	

		

			

				
					
爬虫实战——求是网周刊文章爬取（一）and 爬虫基本原理

				
			

			

				

					qq_44745905的博客
				

				

					11-29
					
					5054
					
				

			

		

		

			
				
@R星校长
第1关：获取新闻url
任务描述
本关任务：编写一个爬虫，并使用正则表达式获取求是周刊2019年第一期的所有文章的url。详情请查看《求是》2019年第1期 。
相关知识
获取每个新闻的url有以下几个步骤：

首先获取2019年第1期页面的源码，需要解决部分反爬机制；
找到目标url所在位置，观察其特征；
编写正则表达式，获取目标数据。

编程要求
使用正则表达式获取求是周刊2019年第一期的所有文章的url，返回的是一个包含所有url的列表。
预期输出：
http://www.qstheo.

			
		

	





	

		

			

				
					
头歌答案--爬虫实战

					
最新发布

				
			

			

				

					2509_93990885的博客
				

				

					11-02
					
					1231
					
				

			

		

		

			
				
一个网页的源代码时常有成百上千行，其中很多代码都是为了布局页面样式服务的，而我们时常关心的是网页上的数据，而并不关心样式代码。所以如何从冗长的网页源代码中提取我们关心的数据，是这一关我们将要一起学习和体验的内容。服务器端收到请求后，会返回该网页的超文本文件，浏览器收到服务器端发来的网页超文本文件后，对其进行解析，然后在窗口中显示该超文本文件对应的网页。上一关我们学习了如何访问给定的网页并保存信息到本地，本关我们要从上一关访问的网页中提取出嵌套的。本关任务：利用 Opener 方法，完成一个简易的爬取程序。

			
		

	



		

			
		



	

		

			

				
					
头歌-利用URL获取超文本文件并保存至本地

				
			

			

				

					dearlwy521的博客
				

				

					04-27
					
					8118
					
				

			

		

		

			
				
# -*- coding: utf-8 -*-
import urllib.request as req
import os
import hashlib

# 国防科技大学本科招生信息网中录取分数网页URL：
url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/index.html'  # 录取分数网页URL


def step1():
# 请按下面的注释提示添加代码，完成相应功能
#********** Begin *********#
# 1.将.

			
		

	





	

		

			

				
					
pyhton爬虫：三种爬取csdn首页所有文章的方法

				
			

			

				

					01-20
				

			

		

		

			
				
1. 爬取csdn首页所有文章
1.1 方法1
import urllib.request
import re\nurl='http://blog.csdn.net/'
#伪装浏览器
headers=('User-Agent','Mozilla/5.0 (Windows NT 10.0； WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0')
opener=urllib.request.build_opener()
opener.addheaders=

			
		

	





	

		

			

				
					
Educoder:爬虫实战——求是网周刊文章爬取

				
			

			

				

					weixin_46026136的博客
				

				

					10-27
					
					5036
					
				

			

		

		

			
				
第1关：获取新闻url

importrequests

importre



defgeturls():

#**********Begin**********#

url='http://www.qstheory.cn/dukan/qs/2014/2019-01/01/c_1123924172.htm'

headers={

'User-Agent':'Mozilla/5.0(Linux;Android6.0;Nexus5Buil...

			
		

	





	

		

			

				
					
xpath 简单使用

				
			

			

				

					weixin_44890846的博客
				

				

					04-12
					
					469
					
				

			

		

		

			
				
xpath 使用xpath 语法实例定位标签轴的使用模糊匹配
xpath 语法
首先介绍 xpath 的语法：

选取节点：




路径表达式
结果




bookstore
选取 bookstore 元素的所有子节点


/bookstore
选取根元素 bookstore。注：假如路径起始于正斜杠( / )，则此路径始终代表到某元素的绝对路径！


bookstore/book
选取属于 ...

			
		

	





	

		

			

				
					
爬虫——爬虫中使用正则表达式

				
			

			

				

					weixin_30348519的博客
				

				

					07-20
					
					510
					
				

			

		

		

			
				
下面我们尝试爬取内涵段子网站：http://www.neihan8.com/article/list_5_1.html
打开之后，当你进行翻页的时候，不难注意到，url地址的变化：


第一页url: http: //www.neihan8.com/article/list_5_1 .html


第二页url: http: //www.neihan8.com/article/lis...

			
		

	





	

		

			

				
					
正则表达式-爬虫

				
			

			

				

					ypl0ipy的博客
				

				

					02-27
					
					2074
					
				

			

		

		

			
				
正则表达式——爬虫学习笔记

			
		

	





	

		

			

				
					
python 正则表达式提取url

				
			

			

				

					高压锅博客
				

				

					08-26
					
					6337
					
				

			

		

		

			
				
1. python 提取URL到数组中
import re


if __name__ == "__main__":
    f = open(r"C:\Users\HuJun\PycharmProjects\pythonProject\daily_tesy\data.txt", "r", encoding="utf-8")
    data = f.read()
    reg = 'http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9

			
		

	





	

		

			

				
					
python爬虫之数据解析（正则表达式）

				
			

			

				

					qq_53221728的博客
				

				

					02-14
					
					1563
					
				

			

		

		

			
				
python爬虫的数据解析常用的就三种：

1、正则表达式

2、bs4

3、xpath

其中又以xpath最为常用。

数据解析原理概述：

这就是根据HTML特性，找到指定标签的定位，然后爬取属性或文本。（正则有点不一样）

正则表达式

正则就是写一个“字符串”去匹配文本，符合的就留下，那重点就是怎么写好“字符串”了，在python中要使用正则表达式就要导入Re库，以下举例的都是英文标点符号。

常用操作符

操作符
			说明
			实例
		.
			表示任何单个字符（不包括换行符）
			


			
		

	





	

		

			

				
					
Python爬虫实践（十一）：selenium+phantomjs+正则表达式爬取文章并保存

				
			

			

				

					This is MyC
				

				

					06-26
					
					4106
					
				

			

		

		

			
				
爬取的是三联生活周刊的这篇文章：

英国"脱欧"：蝴蝶的翅膀动了（url：点击打开链接）

一、环境准备：
系统：Ubuntu
IDE：wingide
安装以及破解wingide可参考这篇文章：点击打开链接，需要注意的是，经过验证，这个破解的py脚本对最新的wingide 5.1破解失败，在官网下载wingide的时候，点击older version，安装5.0.X的版本，我安装的是

			
		

	





	

		

			

				
					
爬取“求是网”的文章标题和链接

				
			

			

				

					mynameispy的博客
				

				

					03-18
					
					485
					
				

			

		

		

			
				
【代码】爬取“求是网”的文章标题和链接。

			
		

	





	

		

			

				
					
python正则表达式爬虫实例_案例：使用正则表达式的爬虫

				
			

			

				

					weixin_42128270的博客
				

				

					02-04
					
					936
					
				

			

		

		

			
				
用正则表达式进行对爬取到的全部网页源代码进行筛选。网站： https://www.cnblogs.com/loaderman/default.html?page=1打开之后，不难看到里面一个一个灰常有内涵的段子，当你进行翻页的时候，注意url地址的变化：第一页url: https://www.cnblogs.com/loaderman/default.html?page=1第二页url: http...

			
		

	





	

		

			

				
					
Python爬虫入门一之正则表达式

				
			

			

				

					chongyiqi6921的博客
				

				

					12-10
					
					341
					
				

			

		

		

			
				
简单的正则表达式



# -*- coding: utf-8 -*-
import re


a = 'xxFrankxx1xxISxx2xxWonderfulxx'
b = re.findall('x.',a)   #匹配当前字符之后一个字符，有几个点匹配几个
c = re.findall('x*',a)   #匹配所以当前字符
d = re.findall('d?',a)   #
e = r...

			
		

	





	

		

			

				
					
头歌爬虫实战求是网周刊文章爬取

				
			

			

				

					05-14
				

			

		

		

			
				
### 使用爬虫技术从求是网爬取周刊文章的实战教程

为了实现从求是网爬取周刊文章的目标，可以采用 Python 的 `requests` 和 `BeautifulSoup` 库完成基本的数据提取工作。以下是详细的代码示例以及解释：

#### 准备环境
首先需要安装必要的库：
```bash
pip install requests beautifulsoup4 lxml
```

#### 编写爬虫代码
以下是一个完整的代码示例，用于从求是网爬取周刊文章的内容。

```python
import requests
from bs4 import BeautifulSoup

def fetch_weekly_articles(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    }
    
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        response.encoding = 'utf-8'  # 设置编码方式
        
        soup = BeautifulSoup(response.text, 'lxml')
        
        articles = []
        article_list = soup.find_all('div', class_='article')  # 替换为实际的文章列表容器类名[^3]
        
        for article in article_list:
            title = article.find('h2').get_text(strip=True) if article.find('h2') else None
            link = article.find('a')['href'] if article.find('a') and 'href' in article.find('a').attrs else None
            summary = article.find('p').get_text(strip=True) if article.find('p') else None
            
            if title and link:
                articles.append({
                    'title': title,
                    'link': link,
                    'summary': summary
                })
        
        return articles
    
    except Exception as e:
        print(f"Error occurred while fetching data from {url}: {e}")
        return []

if __name__ == "__main__":
    url = "https://www.qstheory.cn/"  # 替换为目标网址
    weekly_articles = fetch_weekly_articles(url)
    
    for idx, article in enumerate(weekly_articles[:10], start=1):  # 输出前10篇文章作为示例
        print(f"{idx}. Title: {article['title']} | Link: {article['link']} | Summary: {article['summary']}")
```

以上代码实现了以下几个功能：
1. 发送 HTTP 请求到目标 URL 并解析 HTML 页面内容。
2. 利用 `BeautifulSoup` 提取页面中的文章标题、链接和摘要信息。
3. 将结果存储在一个字典列表中以便后续处理或展示。

需要注意的是，在实际应用过程中可能需要调整 CSS 选择器以匹配具体的网页结构[^3]。

#### 数据保存至本地文件
如果希望将爬取的结果保存到本地文件中，可以在程序最后加入如下逻辑：

```python
with open("articles.txt", "w", encoding="utf-8") as f:
    for article in weekly_articles:
        f.write(f"Title: {article['title']}\nLink: {article['link']}\nSummary: {article['summary']}\n\n")
print("Articles have been saved to articles.txt.")
```

这会将每一篇文章的信息按指定格式写入名为 `articles.txt` 的文本文件中。

---

### 注意事项
在编写爬虫时需注意遵守目标网站的服务条款及法律法规，避免因频繁请求或其他不当行为引发法律风险或被封禁 IP 地址等问题[^3]。

---

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值