东方财富网个股研报信息爬虫
本仓库包含了使用Scrapy-Selenium框架开发的爬虫,用于爬取东方财富网的所有个股研报信息。
爬虫简介
此爬虫能够获取东方财富网上个股研报的标题、个股信息以及收益等相关数据。通过Scrapy框架结合Selenium,实现模拟浏览器行为,提高数据抓取效率及成功率。
运行环境
- 操作系统:Windows 10 专业版
- Python版本:3.5
- Scrapy版本:1.5.0
- MongoDB版本:3.4.7
依赖包
- Requests
- Pymongo
- Selenium 3.11.0
- Faker(用于随机切换User-Agent)
爬取成果
在本次爬取中,总共获取了16791条个股研报信息。爬虫首先将数据存储在MongoDB数据库中,之后导出为Excel文件,方便后续的数据分析和处理。
以下是部分数据的截图:
(此处应该有截图,但由于要求不包含链接和无关字符,故无法展示)
注意事项
- 请确保在运行爬虫前已正确安装并配置了所需的运行环境和依赖包。
- 请遵守相关法律法规,合法使用网络爬虫技术。