qq_46893497的博客

我们的查询引擎有hive、spark、presto，presto查询速度快，但是很多语法和sparksql不兼容，这里记录一下经常用的语法，方便自己使用，也供大家参考。

【代码】Spark--insert overwrite慢解决。

数据存储行式存储列式存储Hive支持的存储数的格式主要有：数据存储分为行式存储和列式存储行式存储优点:相关数据保存在一起，比较满足面向对象的思维，因为一行数据就是一条记录，比较适合insert、update。缺点:1.如果查询只涉及到某几列，它会把整行数据都读出来，不能跳过不必要的列；2.空间利用率不高，因为每一行中列的数据类型不一致；3.不是所有的列都适合做索引。列式存储优点:1.查询时只查询涉及的列，可以跳过不必要的列2.高效的压缩率，不进节省存储空间，也节省计算

Flink、Storm与Spark Stream的区别Apache StormApache SparkApache Flink这三种计算框架的对比如下扩展项目应用Apache Storm在Storm中，需要先设计一个实时计算结构，我们称之为拓扑（topology）。之后，这个拓扑结构会被提交给集群，其中主节点（master node）负责给工作节点（worker node）分配代码，工作节点负责执行代码。在一个拓扑结构中，包含spout和bolt两种角色。数据在spouts之间传递，这些spouts将

缓存雪崩/穿透/降级...名词解释缓存雪崩缓存穿透5TB的硬盘上放满了数据，请写一个算法将这些数据进行排重。如果这些数据是一些32bit大小的数据该如何解决？如果是64bit的呢？缓存预热缓存降级缓存雪崩理解:原有缓存失效,新的缓存未到解决:加锁队列将缓存失效时间分散开我们可以简单的理解为：由于原有缓存失效，新缓存未到期间(例如：我们设置缓存时采用了相同的过期时间，在同一时刻出现大面积的缓存过期)，所有原本应该访问缓存的请求都去查询数据库了，而对数据库CPU和内存造成巨大压力，严重的