大数据
文章平均质量分 76
firefaith
这个作者很懒,什么都没留下…
展开
-
Spark updateWithState
import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.DStreamimport org.apache.spark.streaming.kafka010.ConsumerS...原创 2018-03-28 18:47:24 · 255 阅读 · 0 评论 -
Hive/Impala 复杂类型使用 Complex types
主要是在impala中使用复杂类型(array,struct,map),作为测试所以需要hive。具体过程:创建hive表1 编写本地数据文件,导入数据 创建hive表2,存储为parquet(这样才能在impala中使用),从表1导入到表2cloudera impala有不同的example提供,可参考但其中唯有一点没有说清楚:即在第二部中,本地文件的编写,如果嵌套层级很深,如何写...原创 2018-10-31 10:45:21 · 2061 阅读 · 0 评论