- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive orc创建出错create as select
If you try to use create-table-as-select (CTAS) statement and create a ORC File format based table, then you can't use NULL as a column value in select clauseCREATE TABLE empty (x int);CREATE TAB
2017-01-18 15:47:49
3786
原创 hive异常MetaException-Metastore contains multiple versions
在执行hive运行脚本时，出现了MetaException Metastore contains multiple versions异常错误在spark中使用hivecontext时也会遇到这个异常，原因在于hive的metastore表VERSION中存在重复的记录，从而报出存在多条hive版本的异常信息VER_IDSCHEMA_VERSION
2017-01-18 15:12:29
3304
原创 Spark错误异常-sparkMaster GC overhead limit exceeded
Spark错误异常-sparkMaster GC overhead limit exceeded
2017-01-09 11:00:06
1526
原创 hive中分号字符引起的异常
在使用正则表达式时候解析数据时候，由输入带有分号的字符串引起的异常错误select regexp_extract(reflect("java.net.URLDecoder", "decode", event),';price=(\\d+-\\d+)(&|;)',1) from page_url;select ';price=(\\d+-\\d+)(&|;)';hive日志中报出字符异
2017-01-06 10:58:26
5770
原创 Spark job在hue-oozie中的另一种方式调度
工作中使用的是hue来配置oozie工作流调度及任务中调度关系，spark job的输入是由hive sql产生输出的表，在配置spark job由于一些客观关系出现很多问题导致无法正确的执行，在oozie中支持spark job的及shell job的配置执行1. 采用spark program组件配置， 目前版本过低无法添加运行时的一些参数官网http://gethue.com
2017-01-03 18:58:59
7648
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人