- 博客(20)
- 收藏
- 关注
原创 SparkLauncher提交spark 正确的退出方式以及状态获取
SparkLauncher 提交 Spark任务,使用CountDownLatch获取任务状态,出现状态获取不准确问题,spark任务是失败的,但是返回成功。
2023-02-25 20:39:02
1861
原创 Linkis 1.3.2 Gateway流程分析
本文是根据Linkis1.3.2版本Gateway源码整理的流程,虽然没有源码的代码讲解,但每一句都是对源码的理解,并且构成一张知识图,整个图解几乎涵盖了所有实现细节,有想要二开原生SCG的,或者二开Linkis Gateway的,值得细细品读。
2023-01-28 10:38:10
341
原创 dolphinscheduler v2.0.1 master和worker执行流程分析(六)
dolphinscheduler v2.0.1 kill分析
2022-10-08 16:34:34
1338
原创 dolphinscheduler v2.0.1 master和worker执行流程分析(五)
dolphinscheduler v2.0.1 command消费
2022-10-08 16:33:33
478
2
原创 dolphinscheduler v2.0.1 master和worker执行流程分析(四)
dolphinscheduler v2.0.1 worker执行分析
2022-10-08 16:32:38
810
原创 dolphinscheduler v2.0.1 master和worker执行流程分析(三)
dolphinscheduler v2.0.1 master执行分析
2022-10-08 16:31:45
2031
1
原创 dolphinscheduler v2.0.1 master和worker执行流程分析(二)
dolphinscheduler v2.0.1 执行流程图解
2022-10-08 16:29:17
862
原创 dolphinscheduler v2.0.1 master和worker执行流程分析(一)
dolphinscheduler v2.0.1 执行流程图解
2022-10-08 16:28:46
1127
7
原创 java 操作 Hue上的 Oozie 工作流
大数据平台:CDHpom.xml<dependency> <groupId>org.apache.oozie</groupId> <artifactId>oozie-client</artifactId> <version>4.1.0</version></dependency>code:import java.util.Properties;import org.
2020-06-11 18:49:08
661
原创 Hive映射Hbase
Hbase表已存在 在Hive里只能创建外部表与其映射 删除Hive表的同时不会删除Hbase表及数据 数据最终存在Hbase中 不能使用load方式向hive导入数据 hive建外部表语句样例:CREATE EXTERNAL TABLE person(key int,name string,age int)STORED BY 'org....
2019-11-19 17:18:08
711
原创 spark graphx 属性图构建 原理解析 源码解析
简介GraphX是Spark中图形和图形并行计算的新组件。GraphX通过引入一个新的图形抽象来扩展Spark RDD:一个有向多重图,每个顶点和边都有属性。为了支持图形计算,GraphX公开了一组基本操作符(例如,subgraph、joinVertices和aggregateMessages),以及Pregel API的一个优化变体。此外,GraphX还包含了越来越多的图形算法和构建器...
2019-11-06 18:29:07
1193
原创 graphx 获取一度内集合 如:家庭关系
按个人需求所总结的,有错误还请指出,谢谢啦需求是找到一度内的家庭关系,就比如爷爷A - 爸爸B - 儿子C - 孙子D,最终结果应该是以爸爸为首的爷爸儿(ABC),以儿子为首的爸儿孙(BCD)两个家庭,做到后面,发现就是判断集合的包含关系。最开始思路是:后面有新思路找到每个点自己一度内所有点信息,也就是以自己为首的家庭 遍历每个边,根据两个点信息判断出两点的包含关系,也就是谁是当家...
2019-11-01 19:15:00
578
原创 centos6离线安装Python2.7 Numpy Pandas
python下载地址:https://www.python.org/ftp/python/module下载地址:https://pypi.org/search/以Numpy1.9.2下载举例:在"Search projects"输入要下载的模块名,回车输入Numpy后回车结果没有1.9.2版本,但是有numpy 1.17.3,这里会检索出含有"numpy"的所有类型模块的最新版本...
2019-10-29 09:46:26
1163
原创 Hbase 批量导入 bulk loading
hbase超大量数据导入方式,原理就是提前生成相应的Hfile文件,再导入hbase中。要导入数据的列相同的情况,使用现成的预定义工具importtsv 要导入数据的列不相同的情况,自定义MR实现importtsv说明:$output为Hfile文件生成的hdfs路劲,$input为要处理文件存放的hdfs路劲,$table为要导入hbase表名http://abloz.com/h...
2019-10-18 17:21:36
897
原创 Hbase调优
架构图来一张:I am client:GO大量数据通过client开始写入Hbase,作为一个有经验的程序员,此时我们应该有想到批量提交,设置为8M好了。hbase.client.write.buffer = 2097152 #默认2M。hbase客户端每次写缓冲的大小(客户端批量提交到服务端),会同时占用客户端和服务端,缓冲区更大可以减少RPC次数,但是更大意味着内存占用更...
2019-10-18 17:16:34
421
原创 Hbase GC调优
CMS GC 并发标记清除算法 打印日志信息-verbose:gc-XX:+PrintGCDetails ## 输出GC详细日志-XX:+PrintGCTimeStamps ## 输出GC的时间戳(以基准时间的形式)-XX:+PrintHeapAtGC...
2019-10-18 17:13:39
581
原创 sqoop导入Hbase 报错:ERROR tool ImportTool: Import failed:Can not create a Path from a null string
sqoop导入hbase,报错ERROR tool ImportTool: Import failed:Can not create a Path from a null string解决:添加--target-dir /tmp参数,这个参数没有什么实际作用,生成的中间结果默认在/user/${执行用户}/_sqoop/下sqoop import \--driver "com.mysq...
2019-10-16 21:17:12
733
原创 ftp yum安装
安装&启停ftp 1、检查是否安装了ftp(已安装可查看版本信息) rpm -qa | grep vsftpd2、安装指令 yum install -y vsftpd3、启停 FTP 服务:service vsftpd start #启动service vsftpd stop #停止service vsftpd restart #重启servic...
2019-10-16 13:49:14
1391
原创 sqoop 导入hdfs hive hbase
目录参数解析导入HDFS导入Hive导入HbaseHive增量导入Hbase增量导入任务job 参数解析 官网参数解析:http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_incremental_imports--password-file :密码文件在hdfs上的路劲。如果密码不能明...
2019-10-14 20:37:04
756
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人