CCF YOCSEF 长沙的一个会,不是投论文的会,而是一个技术论坛之类的东西,在长沙超算中心举办,从实验室老师那得到消息后今天去听了一下,下面是简要记得一些笔记。
基于跨域大数据融合的智能交通物联网——何田
物联网: Cyber-Physical Systems Computation
城市人口比例上升
交通、电信、金融网
3steps
Urban systems
state of the art blind man & elephant
opportunity
formulation :mobility graphs
challenge
Uncertain View Incomplete
future work
cross domain CPS Challenges
大数据生态与数据届探索——熊贇
数据能做什么:数据、信息、知识
科学实验->数据方法
用数据解决问题
解决数据的问题
有大数据:数据资产
- 如何存储
- 关系数据库依然发挥重要作用
- 如何管理
- 系统安全
- 数据安全:隐私保护(差分隐私)
- 使用安全:访问控制等等
做大数据:数据分析
什么样的数据满足指定模式
五大任务:
- 关联分析
- 在许多数据中寻找关联(沃尔玛啤酒尿裤例子),
- 聚类
- K-means,DBSCAN
- 分类
- 在有标签数据集上训练一些模型
- 深度学习
- 台湾李宏毅视频
- TensorFlow
- Keras
- 数据分析:人工智能
- 人为引导 智在算法 工于匠心 能于数据
- 垂直应用:地理、web流量分析、
- 数据的开放和共享
- 完全公开->开放 开放权限->共享
自然界与数据界 Nature -> Data Nature
一些数据不表示任何自然界的东西如计算机病毒。
网络空间的数据呈现出自然界的特性
大数据:从数据界中获取一些信息支持决策
数据界中形成了新的部落,跨自然界疆界的。
科学问题:
数据界到底多大
数据以什么形式增长
数据在网络空间传播态势和方式是什么
人眼看见的数据界?
...
问题产生新的科学——数据科学。
内涵:
研究数据本身的规律和现象&&为科学研究提供数据方法
不是因为有大数据才有数据科学,更不是大数据科学!
物联网与农业大数据——陈学斌
物联网关键技术
- 传感器
- 低成本、环境适应性、可靠性等待
- 网络互联
- 采用适于环境变化的多跳、自组织通信技术接入互联网
- 智能信息处理
- 逻辑思维->形象思维乱七八糟
物联网存在问题:
- 技术标准问题
- 安全问题
- 协议问题
- IP地址问题
- 终端问题
大数据指不用随机抽样法(抽样调查)这样的捷径,而采用所有数据进行分析处理。
知其然不知其所以然。
4V:Value是最显著的特征,数据将成为比黄金、石油更为具有价值的战略资源。
数据安全:
- 数据主权
- 数据隐私
- 数据保护
Data-Assisted Evolutionary Algorithms 数据辅助的演化算法
背景:电路设计问题,缺乏优化途径,每次都要用专有仿真软件
方法:演化计算。
Evolutionary Computation 演化计算
- 生成种群
- 不同演化思路有不同算法
- 粒子群、蚁群、遗传等等
其他背景,各种优化问题。
方法迭代此处可控。
当前比较火的演化算法
粒子群算法Particle Swarm Optimization(1995)
模仿飞鸟觅食的途径
遇到挑战:缺乏明确的优化模型,
需要不断的评价过程,比较耗时。
大规模计算消耗。
不确定性、动态性。
数据辅助的演化计算:
1.Estimation of Distribution Algorithm 评价模型
2.Surrogate Models for Evolutionary Algorithm 代理模型
3.Parameter/strategy adaptation strategy 参数迭代
4.Dimension grouping in large-scale Optimization
复杂问题的解决技术
Niching
分布估计算法
蚁群算法Ant Colony Optimization(ACO,1996)
把蚁群算法信息素的释放过程理解为一种概率分布。
案例:保险购买的组合投资优化。
路径规划问题,经典的NP问题。