爬虫主要流程

最新推荐文章于 2024-08-14 10:14:38 发布
最新推荐文章于 2024-08-14 10:14:38 发布
阅读量9k 收藏 55
点赞数 9
分类专栏： python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dream_1996/article/details/79319571
版权
本文介绍了Python爬虫的主要流程，包括调度器管理其他模块、URL管理器存储有用URL、网页下载器使用urllib2下载HTML源代码、解析器利用BeautifulSoup解析网页并抓取所需信息，最终将数据写入文件。
摘要由CSDN通过智能技术生成

爬虫主要流程


调度器

  • 主调度程序主要是管理上图中其余几个模块的，然后循环的执行这几个模块进行爬取信息，直到条件达到（爬取够一定数量）跳出循环。

URL管理器

  • 每爬取一个网页的有用信息后，并把有用的URL爬取下来放入URL管理器中，等下次循环的爬取可以直接从这个管理器中获取URL

网页下载器

  • 这里用到下载网页的库是urllib2，通过库把url指定的网页的html源代码下载下来，存入urllib2对象
  • 以下是几种简单的下载网页方式 
  • 代码演示

                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  TerryZjl
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
我的常规爬虫流程分享

				
			

			

				

					生命在于折腾
				

				

					10-14
					
					445
					
				

			

		

		

			
				
首先，爬虫不是我的本职工作，我爬虫一般是为了一些有意思的东西，获取一些信息，或者是实现一些可以自动化完成的任务，比如签到。
一般我的爬虫流程是这样的：
1、浏览器访问待爬网页，并提前打开开发者工具（F12），选中 Nework 选项卡，这样就可以看到网络交互信息；
或者，右键查看网页源代码，查找目标信息。
2、在网络交互信息流中筛选出自己需要的，然后在 postman 中模拟请求，看是否仍然可以获...

			
		

	



                

              
                



	

		

			

				
					
爬虫Scrapy框架基本流程图入门：以东莞阳光网为例

				
			

			

				

					采菊东篱下，Python满乾坤！
				

				

					11-05
					
					5614
					
				

			

		

		

			
				
Scrapy简单介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
所谓网络爬虫，就是一个在网上到处或定向抓取数据的程序，当然，这种说法不够专业，更专业的描述就是，抓取特定网站网页的HTML数据。抓取网页的一般方法是，定义一个入口页面，然后一般一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬

			
		

	



                


  
              

                


	

		

			

				
					
Python爬虫详解：原理、常用库与实战案例！

					
最新发布

				
			

			

				

					m0_75067629的博客
				

				

					08-14
					
					1187
					
				

			

		

		

			
				
简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前Python爬虫学习大礼包领取（视频讲解、学习书籍、实战源码、学习路线）！爬取—>解析—>存储请求库：requests,selenium（可以驱动浏览器解析渲染CSS和JS，但有性能劣势（有用没用的网页都会加载）；解析库：正则，beautifulsoup，pyquery存储库：文件，MySQL，Mongodb，Redis。

			
		

	





	

		

			

				
					
爬虫基本流程

				
			

			

				

					TJC_Man的博客
				

				

					04-09
					
					1100
					
				

			

		

		

			
				
#爬虫基本流程
一、获取网站的地址
有些网站的网址十分的好获取，显而易见，但是有些网址需要我们在浏览器中经过分析得出
二、获取User-Agent
我们通过获取User-Agent 来将自己的爬虫程序伪装成由人亲自来完成信息的获取，而非一个程序，因为大多数网站是不欢迎爬虫程序的
三、请求 url
主要是为了获取我们所需求的网址的源码，便于我们获取数据
四、获取响应
获取响应是十分重要的， 我们只有...

			
		

	



		

			
		



	

		

			

				
					
python爬虫的原理以及步骤-Python爬虫程序架构和运行流程原理解析

				
			

			

				

					weixin_37988176的博客
				

				

					10-29
					
					1312
					
				

			

		

		

			
				
1 前言Python开发网络爬虫获取网页数据的基本流程为：发起请求通过URL向服务器发起request请求，请求可以包含额外的header信息。获取响应内容服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。解析内容如果是HTML代码，则可以使用网页解析器进行解析，如果是Json数据，则可以转换成Json对象进行解析...

			
		

	





	

		

			

				
					
爬虫的基本流程

				
			

			

				

					weixin_52136627的博客
				

				

					04-24
					
					4079
					
				

			

		

		

			
				
ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。Response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）所有爬虫也要注意模拟）2、登录，输入错误的用户名密码，然后提交，就可以看到post，正确登录后页面通常会跳转，无法捕捉到post。如果是get方式，请求体没有内容 （get请求的请求体放在 url后面参数中，直接能看到）

			
		

	





	

		

			

				
					
Python爬虫程序架构和运行流程原理解析

				
			

			

				

					09-17
				

			

		

		

			
				
### Python爬虫程序架构与运行流程详解  #### 一、引言  随着互联网技术的快速发展，数据成为企业和个人的重要资产之一。如何高效地从互联网上抓取有价值的信息，成为了一个热门话题。Python作为一种广泛使用的编程...

			
		

	





	

		

			

				
					
python网络爬虫的流程图_Python 网络爬虫程序架构及运行流程

				
			

			

				

					weixin_39935903的博客
				

				

					11-25
					
					2666
					
				

			

		

		

			
				
1 前言Python开发网络爬虫获取网页数据的基本流程为：发起请求通过URL向服务器发起request请求，请求可以包含额外的header信息。获取响应内容服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。解析内容如果是HTML代码，则可以使用网页解析器进行解析，如果是Json数据，则可以转换成Json对象进行解析...

			
		

	





	

		

			

				
					
python网络爬虫的流程图_python爬虫系列（1）- 概述

				
			

			

				

					weixin_39649965的博客
				

				

					11-24
					
					1704
					
				

			

		

		

			
				
原标题：python爬虫系列（1）- 概述事由之前间断地写过一些python爬虫的一些文章，如：工具分享 | 在线小说一键下载Python帮你定制批量获取智联招聘的信息Python帮你定制批量获取你想要的信息用python定制网页跟踪神器，有信息更新第一时间通知你（附视频演示）把python网页跟踪神器部署到云上，彻底解放你的电脑个人认为学习python语言的话，爬虫是一个非常适合入门的方向。为了...

			
		

	





	

		

			

				
					
爬虫开发+基本的爬虫开发流程和一些建议，帮助你入门

				
			

			

				

					04-16
				

			

		

		

			
				
### 爬虫开发基础知识与流程详解  #### 一、爬虫开发概述  爬虫开发是一种利用自动化程序从互联网上抓取数据的技术。这类程序通常被称为网络爬虫或简称为爬虫，它们能够模仿人类用户的浏览行为，以高效且规模化的...

			
		

	





	

		

			

				
					
Python爬虫运行流程（图）

				
			

			

				

					02-26
				

			

		

		

			
				
Python爬虫运行流程，简单描述了Python爬虫运行流程，便于理解

			
		

	





	

		

			

				
					
爬虫的工作流程

				
			

			

				

					qq_37015799的博客
				

				

					04-03
					
					1443
					
				

			

		

		

			
				
爬虫的工作流程(重点)

总结: 搜索引擎流程 与 聚焦爬虫流程的区别:
搜索引擎流程:
爬取范围: 整个网络, 见到URL就爬
保存的数据: 保存的是原始的HTML
预处理: 主要是 分词, 排名
聚焦爬虫流程
爬取范围: 特定的URL, 只有有需要的数据的URL,才爬取
保存的数据: 保存的是需要的数据.

...

			
		

	





	

		

			

				
					
爬虫 1 大致流程

				
			

			

				

					Cupcake_JackY的博客
				

				

					10-26
					
					960
					
				

			

		

		

			
				
一般来说，爬虫大致分为几个流程：
1.	准备工作
2.	获取数据
3.	解析内容
4.	保存数据
爬虫的本质，其实就是让脚本程序模拟认为操作，通过浏览器去访问网页（网站），对于网站服务器来说，人为的通过浏览器访问和通过脚本程序爬虫没有太大区别（反爬虫这些我还没学，所以这里可能说的有点笼统，这里只是说说我目前的理解）。不过不同的是，人为访问网页，获取的是一个网页（人眼看到的页面）；而脚本获取的信息，是整个页面的源码（chrom浏览器按f12），可以对这些信息进行更加细致的分析。
这篇博客先来说说准备工作包含的

			
		

	





	

		

			

				
					
爬虫流程

				
			

			

				

					weixin_44338928的博客
				

				

					01-29
					
					352
					
				

			

		

		

			
				
爬虫流程
1.发起请求
通过HTTP库向目标站点发起一个请求，即发送一个Requests请求 ，请求可以包含额外的Headers等信息，等待服务器响应
2.获取响应内容
如果服务器可以正常响应，会得到一个Response,Response内容便是要获取的页面内容，类型可能有HTML,Json内容，二进制数据（如图片音频）等类型
3.解析内容
得到的内容可能是HTML，可以用正则表达式，网页解析库进行解析，可能是Json，可以直接转为Json对象解析，可能是二进制，可以做保存或进一步处理
4.保存数据
保存形

			
		

	





	

		

			

				
					
爬虫的分类和爬虫的流程

				
			

			

				

					lizoe_的博客
				

				

					01-16
					
					913
					
				

			

		

		

			
				
1. 爬虫的分类
根据被爬网站的数量的不同，我们把爬虫分为：


通用爬虫 ：通常指搜索引擎的爬虫


聚焦爬虫 ：针对特定网站的爬虫


2.爬虫的流程
请思考：如果自己要实现一个和百度新闻一样的网站需要怎么做？
2.1 聚焦爬虫的工作流程如下：

2.2 搜索引擎的工作流程如下：
但是搜索引擎类似的通用爬虫的工作流程有些不同

2.3 搜索引擎的局限性

通用搜索引擎所返回的网页里90%的内容...

			
		

	





	

		

			

				
					
第七章：网络爬虫-网络爬虫流程及常用包

				
			

			

				

					weixin_43597208的博客
				

				

					05-15
					
					323
					
				

			

		

		

			
				
直接学习：https://edu.csdn.net/course/play/6861/326751
网络爬虫流程及常用包
1、定义
网络爬虫是根据一定的规则，自动抓取万维网信息的程序或者脚本。借助于网络爬虫的技术，基本可以做到所见即所得。
典型的应用：搜索引擎，今日头条，金品分析等。
2、爬虫流程

3、爬虫流程
流程
1）、发送请求，向对方服务器发送待抓取网站的链接
2）、返回请求，在不发生意外的情况下（意外包括网络问题，客户端问题，服务器问题等），对方服务器将会返回请求的内容（即网页源代码）
3）、数据

			
		

	





	

		

			

				
					
通用爬虫流程图

				
			

			

				

					weixin_62428951的博客
				

				

					01-19
					
					1168
					
				

			

		

		

			
				

			
		

	





	

		

			

				
					
python爬虫的流程

				
			

			

				

					06-22
				

			

		

		

			
				
Python爬虫的基本流程通常包括以下几个步骤：  1. **确定目标网站**: 首先确定你想爬取的网站，了解其结构和数据源。  2. **分析网页结构**: 使用浏览器的开发者工具（如Chrome或Firefox的开发者工具）查看HTML结构...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值