人生有如两个橘子-CSDN博客

大数据平台：CDHpom.xml<dependency> <groupId>org.apache.oozie</groupId> <artifactId>oozie-client</artifactId> <version>4.1.0</version></dependency>code:import java.util.Properties;import org.

2020-06-11 18:49:08 661

原创 Hive映射Hbase

Hbase表已存在在Hive里只能创建外部表与其映射删除Hive表的同时不会删除Hbase表及数据数据最终存在Hbase中不能使用load方式向hive导入数据 hive建外部表语句样例：CREATE EXTERNAL TABLE person(key int,name string,age int)STORED BY 'org....

2019-11-19 17:18:08 711

原创 spark graphx 属性图构建原理解析源码解析

简介GraphX是Spark中图形和图形并行计算的新组件。GraphX通过引入一个新的图形抽象来扩展Spark RDD：一个有向多重图，每个顶点和边都有属性。为了支持图形计算，GraphX公开了一组基本操作符(例如，subgraph、joinVertices和aggregateMessages)，以及Pregel API的一个优化变体。此外，GraphX还包含了越来越多的图形算法和构建器...

2019-11-06 18:29:07 1193

原创 graphx 获取一度内集合如：家庭关系

按个人需求所总结的，有错误还请指出，谢谢啦需求是找到一度内的家庭关系，就比如爷爷A - 爸爸B - 儿子C - 孙子D，最终结果应该是以爸爸为首的爷爸儿(ABC)，以儿子为首的爸儿孙(BCD)两个家庭，做到后面，发现就是判断集合的包含关系。最开始思路是：后面有新思路找到每个点自己一度内所有点信息，也就是以自己为首的家庭遍历每个边，根据两个点信息判断出两点的包含关系，也就是谁是当家...

2019-11-01 19:15:00 578

原创 centos6离线安装Python2.7 Numpy Pandas

python下载地址：https://www.python.org/ftp/python/module下载地址：https://pypi.org/search/以Numpy1.9.2下载举例：在"Search projects"输入要下载的模块名，回车输入Numpy后回车结果没有1.9.2版本，但是有numpy 1.17.3，这里会检索出含有"numpy"的所有类型模块的最新版本...

2019-10-29 09:46:26 1163

原创 Hbase 批量导入 bulk loading

hbase超大量数据导入方式，原理就是提前生成相应的Hfile文件，再导入hbase中。要导入数据的列相同的情况，使用现成的预定义工具importtsv 要导入数据的列不相同的情况，自定义MR实现importtsv说明：$output为Hfile文件生成的hdfs路劲，$input为要处理文件存放的hdfs路劲，$table为要导入hbase表名http://abloz.com/h...

2019-10-18 17:21:36 897

原创 Hbase调优

架构图来一张：I am client：GO大量数据通过client开始写入Hbase，作为一个有经验的程序员，此时我们应该有想到批量提交，设置为8M好了。hbase.client.write.buffer = 2097152 #默认2M。hbase客户端每次写缓冲的大小(客户端批量提交到服务端)，会同时占用客户端和服务端，缓冲区更大可以减少RPC次数，但是更大意味着内存占用更...

2019-10-18 17:16:34 421

原创 Hbase GC调优

CMS GC 并发标记清除算法打印日志信息-verbose:gc-XX:+PrintGCDetails ## 输出GC详细日志-XX:+PrintGCTimeStamps ## 输出GC的时间戳（以基准时间的形式）-XX:+PrintHeapAtGC...

2019-10-18 17:13:39 581

原创 sqoop导入Hbase 报错：ERROR tool ImportTool: Import failed:Can not create a Path from a null string

sqoop导入hbase，报错ERROR tool ImportTool: Import failed:Can not create a Path from a null string解决：添加--target-dir /tmp参数，这个参数没有什么实际作用，生成的中间结果默认在/user/${执行用户}/_sqoop/下sqoop import \--driver "com.mysq...

2019-10-16 21:17:12 733

原创 ftp yum安装

安装&启停ftp 1、检查是否安装了ftp（已安装可查看版本信息）　　rpm -qa | grep vsftpd2、安装指令　　yum install -y vsftpd3、启停 FTP 服务：service vsftpd start #启动service vsftpd stop #停止service vsftpd restart #重启servic...

2019-10-16 13:49:14 1391

原创 sqoop 导入hdfs hive hbase

目录参数解析导入HDFS导入Hive导入HbaseHive增量导入Hbase增量导入任务job 参数解析官网参数解析：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_incremental_imports--password-file ：密码文件在hdfs上的路劲。如果密码不能明...

2019-10-14 20:37:04 756

qq_37706484的博客

原创 SparkLauncher提交spark 正确的退出方式以及状态获取

原创 Linkis 1.3.2 Gateway流程分析

原创 dolphinscheduler v2.0.1 master和worker执行流程分析（六）

原创 dolphinscheduler v2.0.1 master和worker执行流程分析（五）

原创 dolphinscheduler v2.0.1 master和worker执行流程分析（四）

原创 dolphinscheduler v2.0.1 master和worker执行流程分析（三）

原创 dolphinscheduler v2.0.1 master和worker执行流程分析（二）

原创 dolphinscheduler v2.0.1 master和worker执行流程分析（一）

原创 Linkis v1.1.1 Entrance执行分析

原创 java 操作 Hue上的 Oozie 工作流