- 博客(9)
- 收藏
- 关注
原创 hive报错Error: Java heap space 和return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
相关博客地址:https://blog.csdn.net/weixin_45780435/article/details/119828020
2021-08-20 17:27:56
426
原创 hive报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
hive报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask相关报错报错一FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 362 in table报错截图报错二Error: Java heap sp
2021-08-20 17:25:35
1706
原创 FlinkSql Kafka入hbase
1.创建hbase表create '表名称','列簇'2.编写FlinksqlCREATE TABLE kafkaSource( id STRING, name STRING, age STRING, dt STRING) WITH ( type='kafka', kafka.bootstrap.servers='kafka IP地址:9092', kafka.auto.offset.reset='latest', k
2021-08-19 10:50:27
566
原创 Datax 报错:ERROR StdoutPluginCollector - java.sql.SQLException: TIMESTAMP 类型转换错误
一、相关日志截图二、问题场景使用datax 将mysql数据同步到mysql,执行任务后发现日志显示timestamp类型转换错误。三、解决方法因为目标表该字段类型是datetime类型,所以要在逻辑中进行转换。 cast(字段名 as datetime)...
2021-06-02 14:44:13
3675
5
原创 hdfs误删文件恢复教程
hdfs误删文件恢复教程(前提回收站是开启状态)一.查看是否开启回收站1 查看配置文件 core-site.xml文件中是否开启该fs.trash.interval配置2.相关配置: 将该配置文件添加到 core-site.xml中 <!-- 配置回收站--> <property> <name>fs.trash.interval</name> <value>1440</value>
2021-04-23 11:34:34
851
原创 hive sql通过具体地址解析出行政区划(省 > 市 > 区 > 县 > 乡 > 镇 > 村)
hive sql通过具体地址解析出行政区划(省 > 市 > 区 > 县 > 乡 > 镇 > 村)一. 创建表create table test_xzqh(dz string comment '地址')二.插入测试数据insert into test_xzqh values('温岭市箬横镇西江村232号'),('温岭市松门镇塘礁村'),('三门县浦坝港镇官塘村175号'),('温岭市横峰街道马鞍桥村村部'),('临海市古城街道台州府路162号'),('
2021-04-15 16:11:16
3975
5
原创 flink滚动窗口代码
flink滚动窗口代码讲解重点: 你单独在kafka写入一批数据进行测试,它不会直接出结果,等你下批测试数据进来的时候他才会显示上一批数据的最终结果集CREATE TABLE kafkaSource( username string, click_url string, ts timestamp, WATERMARK FOR ts as withOffset(ts,1000) --ts必须是表中已定义的一列(当前仅支持为Timestamp类型),含义是基于该列生成 wa
2021-04-01 16:47:31
378
原创 hive常见操作命令
hive常见操作命令一.日期类型获取当前时间yyyy-MM-dd HH:MM:ss 相关样例: select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') 日期格式转换yyyyMMdd互转yyyy-MM-dd select from_unixtime(unix_timestamp('20171205','yyyyMMdd'),'yyyy-MM-dd') 结果:2017-12-05 select from_unixti
2021-04-01 15:33:52
423
原创 blink任务上线报错
blink报错:could only be replicated to 0 nodes instead of minReplication (=1). There are 20 datanode(s) running and no node(s) are excluded in this operation.具体原因:因为资源不足导致的解决方法:调大资源
2021-04-01 10:45:59
281
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人