- 博客(12)
- 收藏
- 关注
RSS订阅原创 datax 从oracle导入数据到hive（HDFS高可用配置）
使用得就是hdfswriter、oraclereader，这个配置文件就网上一大堆唯一一个比较那个得点是hdfswriter连接得是高可用hdfs得话，还得加一些操作，借鉴一个博主得帖子https://blog.csdn.net/weixin_44441757/article/details/118082138还是很详细了，确实没问题，直接把hdfs.site core.site hive.site文件放到hdfswriter包里面去，完美解决，因为我们是自己的平台，二次开发了的，所以程序里面就
2021-09-07 14:31:32
985
1
原创 azkaban任务延时执行问题总结
问题说明：总共是定时了160个任务，但是到了执行任务时间点只有159个任务执行，延时了一个任务，哪个任务得执行器就是cube194，就是执行器队列到达了顶峰的那一个执行器exec配置如下问题原因：exec端设置了executor.flow.threads = 30,那么web端通过资源拦截，权重分析向该exec发送任务，任务数量达到了30得时候那就会等待，在exec源码里就有两个队列，一个是执行队列runningflows，一个是等待队列submittedflows...
2021-08-05 15:13:01
974
原创 oracle连接出现nested exception is java.sql.SQLRecoverableException: IO 错误: Undefined Error，使用的是ojdbc8驱动
背景：新入职一家公司，项目用了很多地方的oracle对接客户的数据库，以前我是没有用过。并且对接的驱动是ojbdc6和8都在用，其他同事正常的很，就我不行在连接的时候出现这个问题，这个问题其实还卡了我一天多时间，才入职就要出个开发任务，没时间来搞这个，所以中途下班时间搞搞，嗨呀，时间太赶了网上的解决办法，完全解决不了（切换jdk位数）或者不能根治（直接降版本）错误：分析有没有那么几种可能性呢？1、是我自己还是所有人都是这样（首先排除，项目模板是大佬提供的，他那可以跑的起来
2021-05-13 23:29:28
2995
7
原创 hue执行workflow工作流出现直接FAILED
场景：执行以下任务流的时候就出现了直接失败的情况在第一次执行并且数据完善的情况下测试的，状态是成功的但是第二次是在第一次基础上测试的，基础数据有所缺失日志为：Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]Oozie Launcher failed, finishing Hadoop job gracefullyOozie Launcher,
2021-02-23 15:29:34
760
原创 Hue页面试跑oozie执行workflow时任务卡死
问题：执行任务流卡死，一直卡在那里，但是我们是最基本的测试分析：其实这个问题出现时候我是首先去看的开发环境yarn资源池的资源情况，当时就发现这里满了（因为是开发环境所以没多大） 所以也就知道是Yarn资源不足引起的解决：修改，在不改变每个容器大小的情况下，给大总内存，在hue中Workflow中，根据自己的资源情况，并行shll脚本任务别放太多，不然就会出现卡死，在...
2021-02-23 15:18:52
497
原创 向flume发送消息出现Client sent event exceeding the maximum length
向flume发送消息出现Client sent event exceeding the maximum lengthflume source端是监听端口数据，在模拟前端发送数据时候出现这个问题模拟发送数据时出现的问题，json数据太长，flume默认长度太短Client sent event exceeding the maximum length解决办法也很简单，参考官方参数说明，配置max-line-length到适当值即可（默认是512字节），示例：a1.sources.r1.
2021-02-23 15:09:31
273
转载 开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)
转载https://blog.csdn.net/oDaiLiDong/article/details/86570211#comments_13984250相当有用
2021-01-06 10:44:01
254
原创 CDH5.16.2单机安装（开启kerberos验证）
前言：公司需求，之前做的impala单机安装并不满足需求，负责人叙述需求没有说清楚，还要过kerberos验证，导致最后需要单独在部署CDH并开启kerberos验证，当然，不装CDH独立部署也能够开启kerberos，不过那个麻烦一点，就不弄麻烦的那个方案了，就从新搞个CDH，弄一弄简单的，以后有时间可以给大家单独出一个教程，独立安装的impala集成kerberos。CDH()是...
2020-04-30 13:04:54
998
原创 HIVE安装详解
HIVE安装详解 hive准备工作 系统环境是centos71、hadoop2、mysql这里我先不讲这两个的安装方式，之后在出帖子详解简单说一下版本：hadoop-2.6.5mysql我是用的docker上的最新版本 docker pull mysql:latest 8.几的版本后面hive会用到mysql-connector-java-8....
2020-03-30 20:45:58
156
原创 KAFKA安装文档
Kafka单机安装Kafka单机安装在官网处下载解压即可，然后配置环境变量即可启动，单机版可以不安装独立的zookeeper，使用kafka自带的zookeeper服务启动命令如下先启动自带zookeepernohup bin/zookeeper-server-start.sh config/zookeeper.properties & 然后启动kafka...
2020-01-19 22:51:19
241
原创 ELK集群安装及简单使用
节点信息(角色)192.168.1.105 es-2 /elk(目录)192.168.1.108 es-1 logstash kibana /mydata/elk192.168.1.106 es-3 /elk 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如...
2019-01-09 15:16:32
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人