自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(20)
  • 收藏
  • 关注

原创 SparkLauncher提交spark 正确的退出方式以及状态获取

SparkLauncher 提交 Spark任务,使用CountDownLatch获取任务状态,出现状态获取不准确问题,spark任务是失败的,但是返回成功。

2023-02-25 20:39:02 1754

原创 Linkis 1.3.2 Gateway流程分析

本文是根据Linkis1.3.2版本Gateway源码整理的流程,虽然没有源码的代码讲解,但每一句都是对源码的理解,并且构成一张知识图,整个图解几乎涵盖了所有实现细节,有想要二开原生SCG的,或者二开Linkis Gateway的,值得细细品读。

2023-01-28 10:38:10 331

原创 dolphinscheduler v2.0.1 master和worker执行流程分析(六)

dolphinscheduler v2.0.1 kill分析

2022-10-08 16:34:34 1211

原创 dolphinscheduler v2.0.1 master和worker执行流程分析(五)

dolphinscheduler v2.0.1 command消费

2022-10-08 16:33:33 439 2

原创 dolphinscheduler v2.0.1 master和worker执行流程分析(四)

dolphinscheduler v2.0.1 worker执行分析

2022-10-08 16:32:38 733

原创 dolphinscheduler v2.0.1 master和worker执行流程分析(三)

dolphinscheduler v2.0.1 master执行分析

2022-10-08 16:31:45 1867 1

原创 dolphinscheduler v2.0.1 master和worker执行流程分析(二)

dolphinscheduler v2.0.1 执行流程图解

2022-10-08 16:29:17 834

原创 dolphinscheduler v2.0.1 master和worker执行流程分析(一)

dolphinscheduler v2.0.1 执行流程图解

2022-10-08 16:28:46 1052 7

原创 Linkis v1.1.1 Entrance执行分析

Linkis v1.1.1 Entrance源码解读

2022-09-19 09:10:07 390 2

原创 java 操作 Hue上的 Oozie 工作流

大数据平台:CDHpom.xml<dependency> <groupId>org.apache.oozie</groupId> <artifactId>oozie-client</artifactId> <version>4.1.0</version></dependency>code:import java.util.Properties;import org.

2020-06-11 18:49:08 627

原创 Hive映射Hbase

Hbase表已存在 在Hive里只能创建外部表与其映射 删除Hive表的同时不会删除Hbase表及数据 数据最终存在Hbase中 不能使用load方式向hive导入数据 hive建外部表语句样例:CREATE EXTERNAL TABLE person(key int,name string,age int)STORED BY 'org....

2019-11-19 17:18:08 683

原创 spark graphx 属性图构建 原理解析 源码解析

简介GraphX是Spark中图形和图形并行计算的新组件。GraphX通过引入一个新的图形抽象来扩展Spark RDD:一个有向多重图,每个顶点和边都有属性。为了支持图形计算,GraphX公开了一组基本操作符(例如,subgraph、joinVertices和aggregateMessages),以及Pregel API的一个优化变体。此外,GraphX还包含了越来越多的图形算法和构建器...

2019-11-06 18:29:07 1166

原创 graphx 获取一度内集合 如:家庭关系

按个人需求所总结的,有错误还请指出,谢谢啦需求是找到一度内的家庭关系,就比如爷爷A - 爸爸B - 儿子C - 孙子D,最终结果应该是以爸爸为首的爷爸儿(ABC),以儿子为首的爸儿孙(BCD)两个家庭,做到后面,发现就是判断集合的包含关系。最开始思路是:后面有新思路找到每个点自己一度内所有点信息,也就是以自己为首的家庭 遍历每个边,根据两个点信息判断出两点的包含关系,也就是谁是当家...

2019-11-01 19:15:00 548

原创 centos6离线安装Python2.7 Numpy Pandas

python下载地址:https://www.python.org/ftp/python/module下载地址:https://pypi.org/search/以Numpy1.9.2下载举例:在"Search projects"输入要下载的模块名,回车输入Numpy后回车结果没有1.9.2版本,但是有numpy 1.17.3,这里会检索出含有"numpy"的所有类型模块的最新版本...

2019-10-29 09:46:26 1143

原创 Hbase 批量导入 bulk loading

hbase超大量数据导入方式,原理就是提前生成相应的Hfile文件,再导入hbase中。要导入数据的列相同的情况,使用现成的预定义工具importtsv 要导入数据的列不相同的情况,自定义MR实现importtsv说明:$output为Hfile文件生成的hdfs路劲,$input为要处理文件存放的hdfs路劲,$table为要导入hbase表名http://abloz.com/h...

2019-10-18 17:21:36 871

原创 Hbase调优

架构图来一张:I am client:GO大量数据通过client开始写入Hbase,作为一个有经验的程序员,此时我们应该有想到批量提交,设置为8M好了。hbase.client.write.buffer = 2097152 #默认2M。hbase客户端每次写缓冲的大小(客户端批量提交到服务端),会同时占用客户端和服务端,缓冲区更大可以减少RPC次数,但是更大意味着内存占用更...

2019-10-18 17:16:34 390

原创 Hbase GC调优

CMS GC 并发标记清除算法 打印日志信息-verbose:gc-XX:+PrintGCDetails ## 输出GC详细日志-XX:+PrintGCTimeStamps ## 输出GC的时间戳(以基准时间的形式)-XX:+PrintHeapAtGC...

2019-10-18 17:13:39 544

原创 sqoop导入Hbase 报错:ERROR tool ImportTool: Import failed:Can not create a Path from a null string

sqoop导入hbase,报错ERROR tool ImportTool: Import failed:Can not create a Path from a null string解决:添加--target-dir /tmp参数,这个参数没有什么实际作用,生成的中间结果默认在/user/${执行用户}/_sqoop/下sqoop import \--driver "com.mysq...

2019-10-16 21:17:12 726

原创 ftp yum安装

安装&启停ftp 1、检查是否安装了ftp(已安装可查看版本信息)  rpm -qa | grep vsftpd2、安装指令  yum install -y vsftpd3、启停 FTP 服务:service vsftpd start #启动service vsftpd stop #停止service vsftpd restart #重启servic...

2019-10-16 13:49:14 1376

原创 sqoop 导入hdfs hive hbase

目录参数解析导入HDFS导入Hive导入HbaseHive增量导入Hbase增量导入任务job 参数解析 官网参数解析:http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_incremental_imports--password-file :密码文件在hdfs上的路劲。如果密码不能明...

2019-10-14 20:37:04 647

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除