物联网数据的特点

网数据的十二大特点:
1.数据是时序的,一定带有时间戳;
2.数据是结构化的;
3.数据极少有更新或删除操作;
4.数据源是唯一的;
5.相对互联网应用,写多读少;
6.用户关注的是一段时间的趋势,而不是某一特点时间点的值;
7.数据是有保留期限的;
8.数据的查询分析一定是基于时间段和地理区域的;
9.除存储查询外,还往往需要各种统计和实时计算操作;
10.流量平稳,可以预测;
11.往往需要有插值等一些特殊的计算;
12.数据量巨大,一天采集的数据就可以超过100亿条。

大数据架构,采集进来的数据先进Kafka, 然后分流进HBase/Cassandra/MongoDB等做持久化存储,进Redis做缓存,进Spark/Flink等做流式计算,后面再接应用、大屏展示等等。

数据分析的两个流程:
实时分析流程:业务数据、消息队列、Storm实时编程、Redis、数据展示(秒级计算)
离线分析流程:不同数据源获取数据、Hadoop集群数据、计算(Hive、Spark、MapReduce)、数据展示
在这里插入图片描述

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值