qq_41253208的博客

Scala简介Scala是将面向对象和函数式编程结合在一起的语言，Scala的任务主要基于JVM基础之上，同时Scala语言是基于 Java语言开发的。应用：Spark、Kafka作者：马丁 奥德斯基发行时间：2004年推出第一版Scala，然后在2009推出的2.X版本学习Scala的目的：比较简单：这个框架开发比较简单，而且相对于Java来说，代码少之又少，开发敏捷。运行速度快：...

Spark对接Hive（必会）Spark操作Hive相比较Hive执行的MR，效率要高，因为Spark是基于DAG有向无环图，实现的内存迭代式计算，MR是基于磁盘计算引擎，相比Spark的迭代计算，要慢的多，并且磁盘IO太大，没有太好的优化，Spark是内存处理，速度要快的多，所以使用Spark对接Hive已经成为主流，例如：SparkSQL来实现的数仓操作实现方式：将Hive中的hive-s...

Spark对接Hive（必会）Spark操作Hive相比较Hive执行的MR，效率要高，因为Spark是基于DAG有向无环图，实现的内存迭代式计算，MR是基于磁盘计算引擎，相比Spark的迭代计算，要慢的多，并且磁盘IO太大，没有太好的优化，Spark是内存处理，速度要快的多，所以使用Spark对接Hive已经成为主流，例如：SparkSQL来实现的数仓操作实现方式：将Hive中的hive-s...

kafkaAPI操作0.10 可以使用Kafka 文件传输机制[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p99kEjRn-1573744945633)(1573702397129.png)]ACK应答机制（重点）Offset的维护（重点）两种维护Offset的方式自动提交：设置参数，进行自动提交，默认就是自动的 enable.auto.commi...