![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 76
firefaith
这个作者很懒,什么都没留下…
展开
-
Spark updateWithState
import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.DStream import org.apache.spark.streaming.kafka010.ConsumerS...原创 2018-03-28 18:47:24 · 252 阅读 · 0 评论 -
Hive/Impala 复杂类型使用 Complex types
主要是在impala中使用复杂类型(array,struct,map),作为测试所以需要hive。具体过程: 创建hive表1 编写本地数据文件,导入数据 创建hive表2,存储为parquet(这样才能在impala中使用),从表1导入到表2 cloudera impala有不同的example提供,可参考 但其中唯有一点没有说清楚:即在第二部中,本地文件的编写,如果嵌套层级很深,如何写...原创 2018-10-31 10:45:21 · 2045 阅读 · 0 评论