可视化大数据的魅力

作者:电子科技大学 格拉斯哥学院 2017级 张欣雨

摘要

大数据分析在数据处理和应用方面发挥着关键的作用。可视化是一个重要的途径,它能够帮助大数据获得完整的数据图表并挖掘数据的价值。大数据分析离不开可视化这一工具的推动。这篇文章将介绍大数据可视化的基本实现过程,特点,以及可视化对人类社会的作用,让读者感受到可视化大数据的魅力。

1、背景

在上学期的新生研讨课上,曾兵院长介绍了并讲述了图像与视频处理的相关应用,让我对“可视化大数据”这一概念第一次有了接触。在简化数据量和降低大数据应用的复杂性中,大数据分析发挥着关键的作用。可视化是其中一个重要的途径,它能够帮助大数据获得完整的数据视图并挖掘数据的价值,给数据分析带来最直观的感受。大数据可视化应用应该与数据分析紧密相连,这样才能起到最大的功效。
大数据所蕴含的能量最终如何有效地传递给用户,这不仅需要借助最新的前端技术,也对数据可视化设计提出了另外一个层面的要求。模式、趋势和相关性在文字叙述性的数据中不容易被察觉,但在可视化图表上却是一目了然。
总结来说,“大数据可视化”即以数据为视角,看待世界。
30年世界经济变迁

2、可视化实现过程

数据搜集

要实现大数据可视化并构建相应的数据图,进行大量的数据搜集是基础。可根据要构建的数据图模型进行相应类型的数据搜集。在官方或者权威网站,例如中华人民共和国国家统计局统计年鉴等进行数据找寻,确保数据的真实性和准确性。

确定图表类型

根据研究对象确定要根据数据所制作的图表类型。每一种图表类型的诞生,都是由于明确而迫切的需要;所以已知的图表类型中进行选择时,先想想自己想要解决的到底是什么问题。例如,麻醉医学和公共卫生医学的开拓者,英国麻醉学家、流行病学家John Snow医生在没有电子地图的情况下,将数据和地图结合在一起,创造性地手绘并分析出了霍乱的来源。

绘制图表

利用编程技术并使用相关软件,导入之前所搜集到的有效数据,进行图表的绘制。

3、可视化大数据的特征

  1. 直观
    可视化大数据具有较强的视觉冲击,也顾及了可视化美学标准越来越高的要求。艺术家和设计师们采用越来越创造性的方式来表现数据,给用户提供良好的阅读体验和视觉表现。
    CNN ECOSPHERE项目将 “里约+20”地球峰会期间的Twitter话题汇集成星球上的一颗颗大树
  2. 交互性
    数据的分享不再是局限于二维平面的静态,而是更加多维化。用户可以根据自己的兴趣需求,来对大数据的分类进行相应的筛选和分析,促进用户更好地对数据有直观的了解,也加强用户与数据之间的互动。
    亿万富豪排行榜
  3. 实时
    依托于当今人工智能和机器学习技术,图像领域对物体的检测与识别具有了更高的要求,要求不止粗略地知道图像中物体的种类,也要知道物体在图像中的具体位置和信息。相关应用领域包含监控、人脸识别,比赛运动员行动捕捉等。

4、可视化大数据的作用

  1. 以更细化的形式表达数据
    大数据分析涉及到巨大的数据量的统一,庞杂的数据量要求设计者通过更加细化的方式来呈现数据,以普通图表为基础,结合其他动态变化及交互操作来对数据的展示进行选择,恰当和全面地展示数据,给读者更为直观的体验。
  2. 以更全面的维度理解数据
    人们对数据可视化的视觉体验要求逐步提升,并不仅仅满足于平面和静态,而是希望能更深入地去挖掘数据背后隐藏的价值与含义。
    传统的数据可视化图表已不再是唯一的表现形式,现代媒介和技术的多样性,使人们感知数据的方式也更加多元,以一个比以前更大更去全面的角度来理解事物。

5、总结

大数据可视化具有多种形式,既可以是静态的,也可以是动态的。其建立在大量的数据为支撑的基础上,具有直观、交互性、实时的特点,使人们感知数据的方式更加多元直观。

参考

[1] F. Shull, Getting an Intuition for Big Data, IEEE Software, July/August 2013, pp. 1-5
[2]I. B. Otjacques, UniGR Workshop: Big Data- The challenge of visualizing big data, Report, Gabriel Lippmann, 2013, pp. 1-24
[3] http://www.cnn-ecosphere.com
[4] https://www.bloomberg.com/billionaires

遗传算法优化BP神经网络(GABP)是一种结合了遗传算法(GA)和BP神经网络的优化预测方法。BP神经网络是一种多层前馈神经网络,常用于模式识别和预测问题,但其容易陷入局部最优。而遗传算法是一种模拟自然选择和遗传机制的全局优化方法,能够有效避免局部最优 。GABP算法通过遗传算法优化BP神经网络的权重和阈值,从而提高网络的学习效率和预测精度 。 种群:遗传算法中个体的集合,每个个体代表一种可能的解决方案。 编码:将解决方案转化为适合遗传操作的形式,如二进制编码。 适应度函数:用于评估个体解的质量,通常与目标函数相反,目标函数值越小,适应度越高。 选择:根据适应度保留优秀个体,常见方法有轮盘赌选择、锦标赛选择等。 交叉:两个父代个体交换部分基因生成子代。 变异:随机改变个体的部分基因,增加种群多样。 终止条件:当迭代次数或适应度阈值达到预设值时停止算法 。 初始化种群:随机生成一组神经网络参数(权重和阈值)作为初始种群 。 计算适应度:使用神经网络模型进行训练和预测,根据预测误差计算适应度 。 选择操作:根据适应度选择优秀个体 。 交叉操作:对选择的个体进行交叉,生成新的子代个体 。 变异操作:对子代进行随机变异 。 替换操作:用新生成的子代替换掉一部分旧种群 。 重复步骤2-6,直到满足终止条件 。 适应度函数通常以预测误差为基础,误差越小,适应度越高。常用的误差指标包括均方根误差(RMSE)或平均绝对误差(MAE)等 。 GABP代码中包含了适应度函数的定义、种群的生成、选择、交叉、变异以及训练过程。代码注释详尽,便于理解每个步骤的作用 。 GABP算法适用于多种领域,如时间序列预测、经济预测、工程问题的优化等。它特别适合解决多峰优化问题,能够有效提高预测的准确和稳定
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值