数仓论文阅读1.基于大数据技术的农业电商大数据开发系统的设计与实现

一、 摘要

1.搭建实时和离线数据采集传输通道，使用SpringBoot进行数据的预处理。
2.硬件实现采用低廉的服务器，减小成本压力。

二、绪论

1.缺少大数据开发系统来处理和存储大量的数据，为人工智能挖掘和分析数据提供基础。
2.由于电商不公开数据集，需要根据其他文档公开的数据规范模拟生成业务数据和日志数据。

三、需求分析

1.组件选择，避开闭源收费软件，保证系统稳定性
2.根据公开文档编写日志生成器
3.考虑负载均衡

四、关键技术与系统架构设计

1.说明系统的物理架构，使用阿里云服务集群作为服务器和笔记本电脑作为客户端
2.介绍系统开发的关键技术

五、系统的设计与实现

1.采集通道的结构图
2.业务数据表的ER图

六、系统的测试

1.功能测试
2.性能测试，包括集群数据的读取、写入、计算性能的测试

七、参考文献

1.共45个

八、附录

1.部分功能实现代码
2.部分组件配置代码