- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 spark2.1 yarn cluster作业失败AnnotatedConnectException: Connection refused
作业提交脚本和spark作业相关的python代码 [root@tony-client-1-001 ~]# vim /mnt/tony/rec_model/model/data/f0.sh#!/usr/bin/env bashcurr_dir=`pwd`src_path=${curr_dir}spark_lib_path='/usr/hdp/2.5.0.0-1245/spark/li...
2018-06-12 20:14:30
3844
原创 shell脚本——如何获取函数的返回值
在shell脚本(以bash为例)，既可以通过return关键字来返回函数的值，也可以通过echo关键字来返回函数的值。下面分开来讲一下如何捕获函数的返回值。 （1）函数中使用return返回函数值时，通过 echo $? 来捕获函数返回值。请看脚本 bash1.sh#!/bin/bashfunction func1(){ count=0 for cont in {1..3}; ...
2018-06-07 16:35:17
90572
11
原创 hbase集群负载均衡与高性能的关键——region分割与合并
第一部分、分割(split)split是切分、切割、分裂的意思，用来描述region的切分行为。【与region有关的存储结构介绍】 hbase中的Region是一张表的子集，也就是说把一张表在水平方向上切割成若干个region。一张表一开始的时候只有一个region(区域)，随着数据量的增长，会自动(或手动)切分出来越来越多的region。HBase中针对表采用”Range分区”，把r...
2018-06-04 20:25:56
10103
1
[案例]从冷备份的hdfs数据中恢复到原来的hbase表
2018-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人