基于python的数据分析毕业设计-基于python的Web大数据采集和数据分析

肖乐 丛天伟 严卫

摘要：该设计使用python语言作为开发语言，主要采用了两个框架：Scrapy和Django，用Scrapy来实现数据的采集技术，让数据采集效率更高，错误率低等；用Django来实现web网页展示数据可视化功能，使用户能更加清晰、透明的了解到通过数据分析生活未来发展的趋势，以及解决社会存在的某些问题等等。

关键词：Python；大数据；Scrapy；Django

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）22-0009-03

Abstract： This design mainly adopts two frameworks： Scrapy and Django， using Django to achieve the web page display data visualization function， users can be more clear and transparent to the future through the development trend of life data analysis， and solve some social problems. Using Scrapy to achieve data acquisition technology， data acquisition efficiency is higher， error rate is lo