sparkstreaming
普罗米修斯之火
这个作者很懒,什么都没留下…
展开
-
spark-streaming_实时写入hbase
当处理实时数据是聚合类的运算是,可以写入到mysql中,因为数据量不大,但如果是非聚合类的数据,mysql中存放不下,此时可以使用支持覆盖写入或事务的大型数据库,例如:hbase,ES,clickhousehbase在写入数据时如果行键相同的数据写进来就会覆盖原始数据,所以当我们在运算时将每条数据赋予唯一的行键(例如:订单号,或者设备号加时间戳),即使一批数据写入到一半时中断了,重新写入时会覆盖之前的值,保证了数据的幂等性在写入数据时,记偏移量,可以将偏移量和数据记在同一行不同的列族中(hbase支持行原创 2020-11-02 21:13:05 · 731 阅读 · 0 评论 -
redis介绍
RedisNosql技术1redis介绍1.1什么是NoSqlNoSql是为了解决高并发、高可扩展、高可用以及高写入而产生的数据库解决方案。NoSql就是Not Only sql。Nosql是非关系型数据库,它是关系型数据库的良好补充,而不能替代关系型数据库。1.2Nosql数据库分类(了解)键值(Key-Value)存储数据库相关产品: Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB典型应用: 内容缓存,主要用于处理大量数据的高访问负载原创 2020-11-02 20:35:12 · 334 阅读 · 0 评论 -
sparkstreaming对接kafka
sparkstreaming注意要点sparkstreaming是一个微对比准实时的计算框架flink与sparkstreaming不同的是,sparkstreaming中的task执行完之后就会被释放掉,而flink不会,进去之后就不会释放,可以重复使用,spark的task是临时工,flink的是合同工sparkstreaming执行程序时构建完rdd需要开启开启任务并挂起任务才会开始执行程序和一直在后台挂起ssc.startssc.awaitTermination()sparkstream原创 2020-11-01 00:59:44 · 352 阅读 · 0 评论