![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
potpof
这个作者很懒,什么都没留下…
展开
-
kafka01
Scala简介 Scala是将面向对象和函数式编程结合在一起的语言,Scala的任务主要基于JVM基础之上,同时Scala语言是基于 Java语言开发的。 应用:Spark、Kafka 作者:马丁 奥德斯基 发行时间:2004年推出第一版Scala,然后在2009推出的2.X版本 学习Scala的目的: 比较简单:这个框架开发比较简单,而且相对于Java来说,代码少之又少,开发敏捷。 运行速度快:...原创 2019-11-18 21:25:19 · 106 阅读 · 0 评论 -
kafka
Spark对接Hive(必会) Spark操作Hive相比较Hive执行的MR,效率要高,因为Spark是基于DAG有向无环图,实现的内存迭代式计算,MR是基于磁盘计算引擎,相比Spark的迭代计算,要慢的多,并且磁盘IO太大,没有太好的优化,Spark是内存处理,速度要快的多,所以使用Spark对接Hive已经成为主流,例如:SparkSQL来实现的数仓操作 实现方式:将Hive中的hive-s...原创 2019-11-14 00:00:30 · 111 阅读 · 0 评论 -
kafkaday03
Spark对接Hive(必会) Spark操作Hive相比较Hive执行的MR,效率要高,因为Spark是基于DAG有向无环图,实现的内存迭代式计算,MR是基于磁盘计算引擎,相比Spark的迭代计算,要慢的多,并且磁盘IO太大,没有太好的优化,Spark是内存处理,速度要快的多,所以使用Spark对接Hive已经成为主流,例如:SparkSQL来实现的数仓操作 实现方式:将Hive中的hive-s...原创 2019-11-14 23:25:40 · 102 阅读 · 0 评论 -
kafkaday04
kafkaAPI操作 0.10 可以使用 Kafka 文件传输机制 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-p99kEjRn-1573744945633)(1573702397129.png)] ACK应答机制(重点) Offset的维护(重点) 两种维护Offset的方式 自动提交:设置参数,进行自动提交,默认就是自动的 enable.auto.commi...原创 2019-11-14 23:23:54 · 108 阅读 · 0 评论