10.3 数据收集
在本项目的实习过程中,数据收集是一个关键步骤,涉及了使用不同的数据库来存储和组织不同类型的数据。在本节的内容中,将详细讲解本项目数据收集的知识。
10.3.1 MongoDB存储
本项目将使用MongoDB数据库来存储年度报告、财务数据和处理过的数据,MongoDB涉及到了如下所示的集合:
- cik_ticker:包含一个文档,其中包含CIK(中央索引键,公司在EDGAR上的id)和交易所上的TICKER的映射。
- submissions:包含多个文档,每个公司一个文档,列出公司提交的所有提交。
- documents:包含多个文档,每个SEC提交一个文档。该文档包含报告的原始HTML。
- financial_data:包含多个文档,每个公司一个文档。该文档包含单个公司的财务数据的完整历史记录。
- parsed_documents:包含多个文档,每个提交一个文档。文档包含文档的解析版本,其中文本分割为与SEC提交项目相关的部分。
- i