小白学爬虫——爬取网页的基本框架

最新推荐文章于 2024-05-02 21:47:38 发布
最新推荐文章于 2024-05-02 21:47:38 发布
阅读量393 收藏
点赞数
文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43660588/article/details/102750679
版权
本文介绍了爬虫入门的基础知识，重点讲解了使用requests库抓取网页内容的基本步骤。通过实例展示了如何处理HTTP状态码，强调了在请求网页时，确保status_code为200的重要性。当URL不正确时，如缺少'http://'，会引发requests.HTTPError异常。
摘要由CSDN通过智能技术生成
异常 说明
requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError HTTP协议层面出现的错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 用户访问url进行重定向，而超过最大重定向次数，产生的异常（一些复杂的链接）
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 发出URL请求到获得内容整个过程的超时异常

专门与异常打交道的方法——r.raise_for_status()：
读取r的状态，即 Response 对象的 status_code 状态，如果是200，返回的就是正确的，如果不是200，产生异常 requests.HTTPError 。

有了这么多基础知识，我们来看一下用requests库爬取网页的基本框架：


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  春风少年青衫薄
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
Python 简单的爬虫爬取网页框架(爬取网页框架+实例)

				
			

			

				

					qq_44472227的博客
				

				

					11-06
					
					1408
					
				

			

		

		

			
				
Python 这是一个基础的爬虫网页框架

Python爬取网页内容，其实大部分爬取都是在其源代码中寻找代码规律。
举个例子吧:
如：小说名的章节节数，第1~100章，我们找的话就是找第[ ]章中的[ ]内容，然后根据章节网页链接寻找规律进行跳转，把有规律的数字部分进行研究。

当然，我这次举的例子是爬取的豆瓣的top 500，网页电影名，评分，评论。
爬取效果部分

下面是代码部分:
不懂的地方...

			
		

	



                

              
                



	

		

			

				
					
python爬取网页原理_Python：爬虫原理和网页构造

				
			

			

				

					weixin_31807353的博客
				

				

					02-21
					
					957
					
				

			

		

		

			
				
入门网络数据爬取，也就是Python爬虫现实中我们使用浏览器访问网页时，网络是怎么运转的，做了什么呢？首先，必须了解网络连接基本过程原理，然后，再进入爬虫原理了解就好理解的多了。1、网络连接原理 如上图，简单的说，网络连接就是计算机发起请求，服务器返回相应的HTML文件，至于请求头和消息体待爬虫环节在详细解释。2、爬虫原理爬虫原理就是模拟计算机对服务器发起Request请求，接收服务器端的Res...

			
		

	



                


  
              

                


	

		

			

				
					
爬取网页的通用代码框架

				
			

			

				

					Claire的博客
				

				

					04-27
					
					184
					
				

			

		

		

			
				
爬取网页的通用代码框架
什么是通用代码框架？
是一组代码，可以准确可靠的访问内容
Requdests库的异常




			
		

	





	

		

			

				
					
爬虫的基本框架

				
			

			

				

					zuoheizhu的博客
				

				

					03-07
					
					619
					
				

			

		

		

			
				
import requests                          #调用这个库文件

def getHtml(url):							#定义名为getHtml的函数
    try:
         r=requests.get(url,timeout=30)           #获取传入的url这个地址的数据
         r.raise_for_status()			...

			
		

	



		

			
		



	

		

			

				
					
【高效又实用】吃透这五个爬虫框架，轻松爬取想要的数据

				
			

			

				

					veratata的博客
				

				

					12-11
					
					2134
					
				

			

		

		

			
				
Python爬虫框架一般在遇到比较大型的需求时会用到，主要是为了方便管理以及扩展。下面收集整理了5个高效的爬虫框架，各有不同，大家在使用的时候，可以根据具体场景选择合适的框架。

			
		

	





	

		

			

				
					
Python爬虫——简单网页抓取（实战案例）小白篇_python爬虫爬取网页数据

					
最新发布

				
			

			

				

					2401_84562810的博客
				

				

					05-02
					
					1464
					
				

			

		

		

			
				
pythonkw = input(‘请输入要翻译的英文单词：’)data = {‘kw’: kw# 由于百度翻译没有反扒措施，因此可以不写请求头‘referer’: ‘百度翻译-200种语言互译、沟通全世界！’,

			
		

	





	

		

			

				
					
爬虫小白入门实例 —— 爬取全国某天所有火车的运行时刻表

				
			

			

				

					lezhuximing的博客
				

				

					02-28
					
					5621
					
				

			

		

		

			
				
受好朋友的委托，帮忙爬取全国某天所有火车的运行时刻表。

在此之前没有用过爬虫，但是会用python，所以迅速学习了一下。

把自己的学习过程整理如下，爬虫小白可以通过下述内容快速入门。

任务描述：

爬取的站点：http://search.huochepiao.com/chaxun/resultc.asp?txtCheci=D2&cc.x=0&cc.y=0

希望能把当前运行的...

			
		

	





	

		

			

				
					
爬虫基础之网页结构！

				
			

			

				

					Mr_Nosex的博客
				

				

					12-12
					
					1477
					
				

			

		

		

			
				
网页的图结构
网站URL结构设计图
这里以伯乐在线为例，链接之间互相勾连，其实构成了一幅有向图

爬取整个站点的策略
当我们要对伯乐在线这个网站整体进行爬取时，
step1：进入伯乐在线的首页（www.jobbole.com），提取首页所有的子链接，比如top.jobbole.com、blog.jobbole.com等等
step2：选择step1中的子链接，再提取该页包含的子链接
step3：子...

			
		

	





	

		

			

				
					
Python爬虫框架Scrapy_200页操作过程

				
			

			

				

					08-21
				

			

		

		

			
				
Python爬虫从入门到精通，这篇文档主要是针对学习python爬虫的课程，又基础的python爬虫框架scrapy开始，一步步学习到最后完整的爬虫完成，现在python爬虫应用的非常广泛，改篇详细介绍了scrapy爬虫和其他爬虫技术的对比，深入剖析python爬虫的每一步，主要内容如下：
 1）pyhon爬虫基础
2）爬虫库
3）Scrapy框架
4）命令行工具
5）Items
6）Spiders
7）选择器
8）管道
9）中间件
10）爬虫小技巧

			
		

	





	

		

			

				
					
爬虫爬取网页的通用代码框架（附实例）

				
			

			

				

					Jarrodche的博客
				

				

					08-05
					
					6818
					
				

			

		

		

			
				
通过一个爬虫网页的通用代码框架来实现一个网页的爬取，附实例：京东商品页面的爬取，百度搜索关键字提交，ip地址自动查询。

			
		

	





	

		

			

				
					
python 爬取网页的最基础三种方法

				
			

			

				

					王甲评的博客
				

				

					08-01
					
					5380
					
				

			

		

		

			
				
# coding:utf8
import cookielib
import urllib2
url = "http://www.baidu.com"
print "第一种方法"
response1 = urllib2.urlopen(url)
print response1.getcode()
print len(response1.read())


print "第二种方法"
request 

			
		

	





	

		

			

				
					
8个最高效的Python爬虫框架，你用过几个？

				
			

			

				

					python2021_的博客
				

				

					07-29
					
					355
					
				

			

		

		

			
				
1.Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。





项目地址：https://scrapy.org/

2.PySpider

pyspider 是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。



..

			
		

	





	

		

			

				
					
Python入门简单的静态网页爬虫1.0 (爬虫架构 )

				
			

			

				

					weixin_34331102的博客
				

				

					04-24
					
					86
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
python基础爬虫——使用深度优先和广度优先爬取图结构网站

				
			

			

				

					felldeng的博客
				

				

					02-01
					
					1282
					
				

			

		

		

			
				
困于心衡于虑而后作
今天要学习的目标是：深度优先爬取复杂网站，图结构网站
代码及解释如下：
from bs4 import BeautifulSoup
import urllib.request


class Stack:
    def __init__(self):
        self.st = []

    def pop(self):
        return self.st.pop()

    def push(self, obj):
        self.st.append(

			
		

	





	

		

			

				
					
大规模爬虫流程图

				
			

			

				

					Shine_mmm
				

				

					12-01
					
					3716
					
				

			

		

		

			
				
看到了一张不错的爬虫图，分享给大家(￣▽￣)~*

原文链接：https://www.jianshu.com/p/47107e44a87f



			
		

	





	

		

			

				
					
爬虫学习2--简单爬取网页

				
			

			

				

					weixin_53729021的博客
				

				

					10-21
					
					399
					
				

			

		

		

			
				
今天的目标是学习一些简单的爬取网页的代码

顺便记录下来

1.在IDE中简单爬取百度网页。



步骤：


1.import requests


调用requests库。


2.r=requests.get("http://www.baidu.com")


用requests库中的get方法访问百度网页。


3.print(r.status_code)


打印出http请求的返回状态，若未返回200，则访问中出现错误。


4.type(r)


检测r的类型，图中返回表示r是Respons.

			
		

	





	

		

			

				
					
爬虫框架 Scrapy 详解

					
热门推荐

				
			

			

				

					IT__learning的博客
				

				

					08-30
					
					1万+
					
				

			

		

		

			
				
一、Scrapy 基础知识
Scrapy 是适用于 Python 的一个快速、高层次的屏幕抓取和 web 抓取框架，用于抓取 web 站点并从页面中提取结构化的数据。Scrapy 用途广泛，可以用于数据挖掘、监测和自动化测试。
Scrapy 是一个框架，可以根据需求进行定制。它也提供了多种类型爬虫的基类，如 BaseSpider、sitemap 爬虫等，最新版本又提供了 web2.0 爬虫的支持。
1、Scrapy 基本模块

(1) 调度器(Scheduler)

调度器，说白了把它假设成为一个URL（抓

			
		

	





	

		

			

				
					
Python爬虫实战：爬取网页名字评论详细步骤

				
			

			

				

					
				

			

		

		

			
				
首先，我们需要了解爬取网页信息的基本步骤。这个过程通常包括以下几个阶段：  1. **确认网址**：明确你要爬取的网页，通过浏览器的开发者工具查看网页源码，定位到你需要的数据所在的HTML标签。在这个例子中，我们...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值