最近需要做个课设,所以就想着做个简单的大数据可视化(在学长的帮助下,因为本人不太会前端,哈哈),项目代码是通过python写的,数据获取通过爬虫获取,前端是用的python的Django框架,下面是项目的介绍以及功能展示
数据获取:
1、建立爬虫脚本,通过requests获取去哪儿的网页数据>lxml.etree对爬取的网页数据进行解析>xpath获取数据>保存为csv文件;借鉴https://www.jianshu.com/p/b7627e67b6b9的爬取代码
数据展示
2、为了方便前端可视化的调用,数据处理后的景点数据(经纬度拆分两行)>导入Arcgis中转换shp点数据(AcrToolbox>Conversion Tools>Excel>Excel to Table)>保存shp数据并导出;
加载数据
查看导入对错(file>add data>add basemap)
shp2json
数据可视化:
Django框架>GeoJSON数据>leaflet的API进行展示>热力图、弹窗、标注、定位搜索
系统运行截图:
登录界面
主页面
三种底图的调用
分布点展示
热力图展示
标注展示
点击弹窗展示数据
查询景点展示
以上就是课设的大致内容,比较简单,和以下的简书链接差不多,里面有源码,哈哈
https://www.jianshu.com/p/f53f153d52eb?utm_campaign=maleskine&utm_content=note&utm_medium=reader_share&utm_source=weixin&from=timeline&tdsourcetag=s_pctim_aiomsg