weixin_40994552的博客

catalog 是一个管理 Spark 元数据信息的接口，可以管理库、内部或外部表、函数、表列及临时视图

【代码】pyspark 判断 Hive 表是否存在。

在将 hive 数仓数据写入 MySQL 时候，有时我们需将数据转为 json 字符串，然后再存入 MySQL。但 hive 数仓中的 null 类型遇到 json 函数之后会变为 'null' 字符串，这时我们只需在使用 json 函数之前对值进行判断即可，当值为 null 时，直接返回 null, 当值非null 时，则使用 json 函数

org.apache.spark.sql.AnalysisException: Can not create the managed table('`tmp`.`tmp_iot`'). The associated location('hdfs://nameservice1/user/hive/warehouse/tmp.db/tmp_iot') already exists.;

文章目录1 RDD 基础1.1 分区1.2 不可变1.3 并行执行2 RDD 结构2.1 SparkContext、SparkConf2.2 Partitioner2.3 Dependencies2.4 Checkpoint（检查点）2.5 Storage Level（存储级别）2.6 Iterator(迭代函数)3 依赖关系4 RDD操作4.1 转化操作4.2 行动操作4.3 惰性求值4.4 持久化5 Spark 程序工作流程参考1 RDD 基础Spark对数据的核心抽象就是RDD(弹性分布式数据集)