基于Scrapy的东方财富网爬虫

最新推荐文章于 2024-01-28 15:37:11 发布
最新推荐文章于 2024-01-28 15:37:11 发布
阅读量1.6k 收藏 6
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaosa_kun/article/details/84868449
版权
这篇博客记录了使用Scrapy爬虫框架抓取东方财富网财经新闻的过程，包括观察网页、新建爬虫工程、编辑items.py和money.py文件，以及如何运行和查看数据持久化结果。在抓取过程中，遇到内容字段的获取问题，通过迭代开发和引入BeautifulSoup库成功解决了问题。
摘要由CSDN通过智能技术生成

标题中的英文首字母大写比较规范，但在python实际使用中均为小写。
2018年9月6日笔记
IDE(Intergrated development Environment)，集成开发环境为jupyter notebook和Pycharm
操作系统：Win10
语言及其版本：python3.6

0.观察网页

网页链接：http://finance.eastmoney.com/news/cgsxw_1.html
打开网页，红色方框标注出爬取的文章，效果如下图所示。

10345471-256965d4c4049480.png
image.png

1 新建爬虫工程

新建爬虫工程命令：scrapy startproject EastMoney

10345471-1714d51080352bc5.png
image.png

进入爬虫工程目录命令： cd EastMoney
新建爬虫文件命令： scrapy genspider money finance.eastmoney.com

2.编辑items.py文件

共需要收集8个字段信息：网站website、页面链接url、标题title、摘要abstract、内容content、日期datetime、来源original、作者author




                

        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  xiaosakun
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
dongfangyanbao:使用 scrapy-selenium 爬取爬取东方财富网的所有个股研报信息

				
			

			

				

					04-27
				

			

		

		

			
				
东方财富网个股研报信息爬虫说明文档
介绍
东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。
代码说明
运行环境
Windows 10 专业版
Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7
依赖包
Requests
Pymongo
Selenium 3.11.0
Faker(随机切换User-Agent)
爬取结果
在东方财富网上总共爬取了16791条个股研报信息。结果由爬虫先存储在MongoDB中，再导出为Excle文件。部分数据如下截图:

			
		

	



                

              
                



	

		

			

				
					
教你用python实现34行代码爬取东方财富网信息，爬虫之路，永无止境！！_python爬取东方财富网数据

					
最新发布

				
			

			

				

					m0_61549353的博客
				

				

					04-16
					
					1320
					
				

			

		

		

			
				
首先要安装webdriver插件，本文以谷歌浏览器为例，点开谷歌浏览器，点击右上角三个点，然后点击帮助，然后点击关于Google Chrome，查看浏览器的版本，然后点击网址。论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）③　项目源码（四五十个有趣且经典的练手项目及源码）⑤ Python学习路线图（告别不入流的学习）

			
		

	



                


  
              

                


	

		

			

				
					
scrapy爬取东方财富

				
			

			

				

					落神的博客
				

				

					06-15
					
					1814
					
				

			

		

		

			
				
只有spiders部分，看不懂的私聊，从不写注释，就是这么任性


# -*- coding: utf-8 -*-
import scrapy, json, re, time

from Spider.spider.tool.config import ConfigTool
from Spider.spider.item.eastmoneyitem import EastmoneyItem
from Spider.spider.tool.common_def import *

"""
__date__: 

			
		

	





	

		

			

				
					
使用Scrapy框架编写 东方财富网eastmoney的爬虫

				
			

			

				

					CoderSan的博客
				

				

					06-29
					
					2573
					
				

			

		

		

			
				
打开http://guba.eastmoney. om/点击  热门个股吧 里面的更多



进入到这个界面，可以看到股票基本上有了，然后点击F12，打开网页源码



首先可以查看菜单也就是泸市，深市那一块



然后 为了方便，干脆就直接列出如下的起始地址




'http://guba.eastmoney.com/remenba.aspx?type=1&tab=1'
"h...

			
		

	



		

			
		



	

		

			

				
					
利用scrapy框架爬取金融数据，以东方财富个股日线行情并存入本地MySQL数据库为例

				
			

			

				

					qq_73684871的博客
				

				

					01-28
					
					2379
					
				

			

		

		

			
				
许多金融工作者在从事金融数据分析挖掘时，苦于没有更多维的数据要素，依赖传统的官方渠道或第三方数据源api，sdk接口只能在现有源数据提供的要素基础上进行数据分析挖掘。大大降低了工作效率及更深层次的研究，我们迫切需要一种更为数据个性化的获取，本文旨在如何使用scrapy框架获取我们个性化的数据要素，并以采集个股行情数据为例为大家示范爬虫获得标的数据。Scrapy是一个高级Web 爬虫框架，用于爬取网站并从其页面中提取结构化数据。它可以应用于数据挖掘、数据监控和自动化测试等多个方面。

			
		

	





	

		

			

				
					
基于scrapy爬取51job爬虫系统源码.zip

				
			

			

				

					03-05
				

			

		

		

			
				
基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job爬虫系统源码.zip 基于scrapy爬取51job...

			
		

	





	

		

			

				
					
基于 Scrapy 框架的大众点评爬虫

				
			

			

				

					01-18
				

			

		

		

			
				
基于 Scrapy 框架的大众点评爬虫  通过浏览器登录和过验证（手动） 支持设置代理 支持反字体反爬 爬取内容：城市列表（城市名称，城市拼音）、分类列表（分类名称，分类编号）、店铺信息（店铺名称，店铺地址，所在...

			
		

	





	

		

			

				
					
Python基于Scrapy网上兼职网爬虫可视化分析设计

				
			

			

				

					11-01
				

			

		

		

			
				
 基于scarpy框架开发的兼职招聘爬虫系统的目的就是为了广大的在校学生提供一个可信的公共平台，能够快速、精准的获取兼职招聘细腻些，为需要兼职工作的同学们提供更高效的方式。本次的兼职招聘爬虫系统的设计，共...

			
		

	





	

		

			

				
					
Python基于Scrapy-Redis分布式爬虫设计 

				
			

			

				

					11-04
				

			

		

		

			
				
 程序采用 python 开发的 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库做分布式， 设计并实现了针对当当图书网的分布式爬虫程序，scrapy-redis是一个基于redis的scrapy组件，...

			
		

	





	

		

			

				
					
Python分别实现基于Request库和Scrapy框架对东方财富股票的爬取

				
			

			

				

					QY'UniverseSpace的博客
				

				

					02-24
					
					1113
					
				

			

		

		

			
				
本文将讲述Request库和Scrapy框架实现网页的爬取

一、首先我们来认识一下Request库和Scrapy框架

Request库：Request库是Python公认的优秀的第三方网络爬虫库，能够实现自动爬取HTML页面，自动网络请求提交。
Scrapy框架：功能强大，爬取快速的爬虫框架

二、Request库和Scrapy框架的对比：Request VS Scrapy

2.1 相同点

两者都可以进行页面请求和爬取，Python爬虫的两个主要技术路线
	两者可用性都好，文档丰富，入门简单
	两者

			
		

	





	

		

			

				
					
东方财富股票评论数据 Python爬虫代码Scrapy框架

				
			

			

				

					03-12
				

			

		

		

			
				
批量爬取股票评论文本数据，包含大量的情感数据，以共分析

			
		

	





	

		

			

				
					
【Scrapy爬虫入门】股票数据爬取

				
			

			

				

					12-21
				

			

		

		

			
				
pip3 install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple安装库
scrapy startproject Stocks创建工程
cd Stocks/
scrapy genspider stocks qq.com创建爬虫
东方财富网 + 腾讯证券
stocks.py
# -*- coding: utf-8 -*-
import scrapy
import re
class StocksSpider(scrapy.Spider):
    name = 'stocks'
    start_urls = ['http://quot

			
		

	





	

		

			

				
					
学习Python爬虫东方财富网

				
			

			

				

					qq_59421491的博客
				

				

					10-22
					
					4030
					
				

			

		

		

			
				
分为3个步骤：1，爬取网页 2，逐一解析数据 3，保存网页
1，爬取网页打开网站找到需要的数据行情中心：国内快捷全面的股票、基金、期货、美股、港股、外汇、黄金、债券行情系统_东方财富网 (eastmoney.com）

按F12进入开发者模式，选择网络，再刷新（ctrl+r）页面后找到数据存放的位置。

开始构建requests（可以通过Convert curl command syntax to Python requests, Ansible URI, browser fetch, MATLAB, No

			
		

	





	

		

			

				
					
东方财富网 python_Python爬虫入门：以东方财富网为例

				
			

			

				

					weixin_39933438的博客
				

				

					12-06
					
					1101
					
				

			

		

		

			
				
网络爬虫(Web Spider)，根据网页地址爬取网页内容，从而获取各类数据，实现多种多样的功能。下面就以爬取东方财富网的数据为例，谈谈最简单的爬虫的实现。爬虫的核心有三个：请求、解析、存储。环境配置Python安装使用Anaconda包，包里已经包含了必须的requests模块请求html页面import requestsurl = 'http://www.eastmoney.com/'req ...

			
		

	





	

		

			

				
					
爬虫：爬东方财富网股票数据

				
			

			

				

					weixin_54187787的博客
				

				

					10-20
					
					2512
					
				

			

		

		

			
				
1.页面分析

   此次我们获取数据的网站是东方财富网！首先我们按F12打开开发者模式，对name里面的网页进行观察，找到数据存在的网页，发现数据是以jQuery加载进网页的，每次加载20个数据，如图：



   至此我们找到了单页网页的数据及地址，接下来我们继续打开第二页，找到每页之间的关系，整理后我们发现第一页的pn值等于1，第二页的pn值等于2：

所以我们构建URL时，只需用for循环让params参数中的pn值变为可变动的值，那么这样的话我们都可以对里面的每一页发起请求进而获...

			
		

	





	

		

			

				
					
python爬虫爬取东方财富网股票走势+一些信息

				
			

			

				

					qq_55777983的博客
				

				

					06-27
					
					5610
					
				

			

		

		

			
				
一、目标
我们的目标是爬取东方财富网（https://www.eastmoney.com/）的股票信息
我的目标是爬取100张股票信息图片
经过实际测试我的爬取范围为000001-000110，000960-000999，002540-002557
爬取完图片后从中挑选好股票并且进行数据分析判断
二、设计
2.1设计框架
通过selenium爬取股票的图片，（需要selenium库）
然后通过request爬取股票的增长信息与文字信息（需要requests库）
爬取的数据需要json化所以需要导入json库

			
		

	





	

		

			

				
					
Scrapy学习心得+应用：爬取东方财富网中的要闻精华

				
			

			

				

					hjhtchh的博客
				

				

					03-15
					
					2695
					
				

			

		

		

			
				
1.scrapy简单介绍    scarpy作为一个爬虫框架，为各类使用者提供了一种编写爬虫的模式（笔者是这么认为的）。scrapy的安装本文就不多介绍，网上到处都是。笔者本次讲解以scrapy1.4.0为例，python环境为3.6。当你成功安装scrapy后，在cmd中输入scrapy可以得到以下内容：   说明你已经成功安装scrapy。下面就是要使用scrapy来创建一个爬虫的项目。很简单...

			
		

	





	

		

			

				
					
【Python网络爬虫与信息提取】Scrapy爬虫框架

				
			

			

				

					快乐小狗的成长站~
				

				

					03-04
					
					348
					
				

			

		

		

			
				
Python 网络爬虫与信息提取：Scrapy爬虫框架

			
		

	





	

		

			

				
					
使用Scrapy构建高效网络爬虫

				
			

			

				

					
				

			

		

		

			
				
"本文主要介绍了Python的网络爬虫框架Scrapy，探讨了网络爬虫的基本概念、工作原理以及在实现高质量爬虫时所面临的挑战。"  Scrapy是一个强大的Python框架，专为构建网络爬虫而设计。它提供了完整的解决方案，包括...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值