yuanlaishidahuaa的博客

iso_3166_2 string comment 'ISO3166编码'area_code string comment '行政区位码',region_id string comment '大区id',iso_code string comment '国际编码',name string comment '省份名称',id string comment '编号',)comment '地区维度表'这个dt不能加''号。

经过排查，发现导致该问题的原因是当队列资源达到100%后，如果短期内都没有任务空余资源释放出来提供给创建 sparksession使用，将会导致任务失败而抛出这个异常。我目前搭建离线数仓，并将hive的执行引擎改成了Spark，在将ods层的数据装载到dim层，执行insert语句时报如下错误。这个错误表示Hive无法为Spark会话创建Spark客户端，可能是由于Spark会话创建失败导致的。修改hive的配置文件hive-site.xml。加大client连接时间间隔；

备注：Hive建表对复杂JSON格式（对象里套对象）文件处理中，如果字段固定，用struct声明；如果字段不固定，用map结构处理。该API会将参数转成键值对，参数必须是偶数，其中奇数参数看作键，偶数参数看作值。所有参数会被当成值，不要求成对；取值是.colN取出对应字段N的值。参数必须成对出现，奇参会当成键，偶参会被当成值。该API会将里面的参数转成一个数组。判断数组中是否有指定的键。取值：['键下标']取值：['键名称']

百度说是这个报错意味着Hive无法为Spark会话创建Spark客户端。可能是由于配置问题导致的。建议检查Hive配置文件中关于Spark的设置是否正确，特别是关于Spark执行引擎的配置。这次没有创建SparkClient失败是因为我的yarn没启，Spark运行需要yarn进行资源调度。再跑：hive (default)> insert into table student values(1,'abc');刚在hive中配置了Spark引擎，在进行Hive on Spark测试时报错，

之前hadoop有问题，把hadoop和MySQL删了重装，hive没有动，然后启hive的metastore服务的时候，显示找不到metastore数据库。Hive元数据库的字符集默认为Latin1，由于其不支持中文字符，所以建表语句中如果包含中文注释，会出现乱码现象。修改Hive元数据库中存储注释的字段的字符集为utf-8。3）初始化Hive元数据库。2）新建Hive元数据库。4）修改元数据库字符集。1）启动Hive客户端。1）登陆MySQL。5）退出mysql。2）查看一下数据库。

原因：是因为我在linux上没启hiveserver2服务。用户名和密码都没问题，但报如下这个错误。然后再连，就能连上了。

其实就是我spark的包弄错了，应该是用纯净版的spark包。因为我是yarn跑的，所以去yarn看报错日志。它说是这个类找不到？