- 博客(2)
- 收藏
- 关注
RSS订阅原创 hive错误归纳（自用）
对于4000个字符，hive Metastore中SERDE_PARAMS表中PARAM_VALUE字段的字符限制是此问题的根本原因。此限制可防止Hive创建具有高列数的表，最终导致desc或select * from失败并出现上述错误。1、hive中创建带有主键的表要加DISABLE或enable作为约束条件。解决方法：通过在hive Metastore中执行以下操作可以解决此问题。hbase和hive中的＃列相同，抛出以下异常，
2022-09-13 14:20:41
595
1
原创 spark core
checkpoint操作会单独触发一个job执行得到数据再保存，此时该checkpoint rdd之前的数据处理会重复执行一次，所以为了避免重复执行，会先rdd.cache，在本地内存保存，然后再rdd.checkpoint，就可以直接读取本地缓存的数据。2、函数返回值不同：（map是返回新元素结果，mapPatitions是针对每个分区所有数据的迭代器操作，要求返回一个新的迭代器，新的迭代器是一个分区的所有数据，所以新RDD个数不一定等于原RDD元素个数）
2022-09-05 07:18:17
99
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人