vikings_lau-CSDN博客

原创 Oracle行转列写法

unpivot (rolling_cost_item_amt for cost_item_nm in(环形线,金刚线,主轴轮,滑轮外套,精磨砂轮,削磨砂轮,劳保,包材费用,其他,设备备件,公摊费,办公费等,直接人工,间接人工,电费,水费,折旧费)from jks_fds.t_bi_cut_cost_budge_target T1 --切方成本-04预算目标导入表。,T1.fine_wheel_val as 精磨砂轮 --精磨砂轮。

2023-05-19 11:02:02 137

原创 spark和hive常用调优参数(具体需根据数据来确定大小)

- 触发广播join 的大小控制 , 这里写了1G , 非必要这里够大了, 一般调整100M 足以 (维度表)-- 每个executor内存大小,默认512m ,这里得依据yarn 实际大小限制配额做调整。-- 每个executor使用的CPU核数，默认为1。-- 以下语句必须配置在右侧环境参数中才生效。-- ##启动的executor的数量，默认为1。

2023-05-19 11:00:15 663 1

转载【无标题】

就是上面这段代码，报错了，刚开始粗略的检查了一下代码，然后没发现问题，就去百度了，结果百度了十来分钟都没找到合适的解决方法，就当无语的时候，发现原来是因为我窗口函数里面partition by后面的字段写错了，应该是settle_month，而我写成了settle_day，改了之后就好了。版权声明：本文为CSDN博主「Asher117」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

2023-03-21 11:04:05 416

原创关于时间hive

date_sub(SUBSTR(FROM_UNIXTIME(UNIX_TIMESTAMP()),1,10),pmod(datediff(SUBSTR(FROM_UNIXTIME(UNIX_TIMESTAMP()),1,10),'1900-01-08'),7)+1), --out 2021-09-05 上周周日。select concat('${yyyy-MM, -1M}', '-01')上月一号,datax中台特有。

2023-03-08 15:45:37 139

原创 WHERE NOT EXISTS改为hive语法

网上说的改为left join 的方式,有些过于复杂,且当not exists较多时,转换很麻烦。这种not exists 写法hive不支持,可以改为。

2023-03-06 15:51:21 429

原创 OTHER_VERTEX_FAILURE]DAG did not succeed due to VERTEX_FAILURE. failedVertices:1 killedVertices:2

后来发现是源表的建表语句有问题,直接select * 查询也不行.原来是中台从SQL server抽数到hive上时,decimal自动识别转成了string类型,导致这张表查询都查不了.跑一个insert 语句时遇到这个报错,一开始以为是数据量过大导致的,但是查询之后发现源表数据量很小,只有1000多,所以不是数据量导致的资源不足.于是手动更改,把string类型改为float类型,重新建表,然后就一切正常了.附报错图。

2023-03-03 11:20:38 1754

原创 SAP通过datasimba抽取到中台

java.io.IOException: java.lang.IllegalArgumentException: bucketId out of range: -1

2023-02-03 10:42:38 287

原创关于启动hive时ranjar没反应的处理Caused by: java.lang.ClassNotFoundException: org.apache.commons.configuration.C

这是第一次在这台机器上启动hive，hive版本是hive3.1.2版本。输入 hive --service metstore 结果只出现这个东西，runjar根本没启动。后来拉了这个里面所有的jar包到lib目录，在启动就好了，所有，还是jar包的问题。哈哈哈jar包应该就是缺少这里面的某个，具体也没有去试了，反正都拖进去就好了。这是启动成功后的界面。...

2022-08-12 18:58:15 758

原创关于pycharm连接spark出现time out的问题

采用的是基于metastore的thrift，一开始刚配置完昙花一现的测试成功了一次，然后就一直是failed。因为提前在pycharm上连接成功了MySQL，所以也没有头绪。最后给pycharm做了虚拟机node1的映射，然后连接时突发奇想采用ssh连接，结果就成功了。记录一下，以便下次遇到这个问题时有个思路...

2022-06-19 17:32:13 317

vikings_lau的博客