- 博客(11)
- 收藏
- 关注
RSS订阅原创 Hbase跨集群迁移
一、Hbase跨集群迁移方式## 标题Hbase跨集群迁移的方式：copyTable、distcp、export/import、snapshot。备注：新集群Hbase 版本cdh 2.1.0。1、copyTable方式集群间迁移（HBase层数据迁移）copyTable也是属于HBase数据迁移的工具之一，以表级别进行数据迁移。copyTable的本质也是利用MapReduce进行同步的，与DistCp不同的时，它是利用MR去scan 原表的数据，然后把scan出来的数据写入到目标集群的表。这种方
2021-08-26 11:36:44
2904
原创 Hbase shell相关命令
一、hbase shell 命令help 查看所有命令COMMAND GROUPS: Group name: general Commands: status, table_help, version, whoami Group name: ddl Commands: alter, alter_async, alter_status, create, describe, disable, disable_all, drop, drop_all, enable, enable_all,
2021-08-26 10:43:35
210
原创 Clickhouse集群
一、Clickhouse集群搭建集群规划搭建2节点2分片2副本。1、各个节点安装单机安装#安装依赖及添加源sudo yum install yum-utilssudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPGsudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64#默认安装最新版本sudo yum ins
2021-06-29 19:24:41
2268
原创 Spark相关问题
1、scala中case class 转json问题java中对象转json有很多方法，但是使用java中的转换方法来转换scala对象会出现编译报错的情况。scala中对象转json str可以尝试下面方法：pom.xml <dependency> <groupId>org.json4s</groupId> <artifactId>json4s-native_2.11</artifa
2021-03-29 17:29:13
106
原创 sqoop相关问题
sqoop导入：注意事项：mysql datetime 、timestamp类型，建好hive时对应的字段类型需要建为 bigint ，mysql 的decimal 类型，hive建表是建为string。dt='20210308'sqoop import \--connect jdbc:mysql://********:********/yzf_biz \--username ***** \--password **** \--table sys_dzgs \--target-dir /a
2021-03-09 16:36:05
200
原创 SparkStreaming整合SparkSql
SparkStreaming整合SparkSql的程序中spark的重要对象创建的顺序可能会导致程序报错。可按照 sparkConf、SparkContext、StreamingContext、SparkSession的顺序。 //TODO 1、创建ssc对象 val conf = new SparkConf().setAppName("BoxLogStreamingDeal").setMaster("yarn") .set("spark.defalut.parallelis
2021-02-09 15:53:46
196
原创 HIVESQL语法及相关问题集锦
1、函数： 2020 4 转为 202004concat(kjnd,lpad(kjqj,2,‘0’))2、hive中导入数据：提前建好表，制定字段分隔符LOAD DATA [local] INPATH '/workspace/bpUserinfo_201511.log' INTO table testkv;3、建表制定null值存储格式：hive表：null默认的存储都是\N，可以在建表时通过serialization.null.format=’’ 的设置，设置为’’4、hi
2021-01-20 14:17:46
417
原创 HIVE相关问题集锦
1、解决自建CDH集群中hive中文注释乱码问题查看字符集select table_collation from information_schema.tables where table_name in ('COLUMNS_V2','TABLE_PARAMS','PARTITION_KEYS');如不是utf-8,执行以下语句修改,注意表名大小写alter table hive元数据库名.columns_v2 modify column comment varchar(256) character
2021-01-20 13:49:21
238
原创 python3 批量获取mysql建表语句
应用场景：需要获取mysql多表跨库建表语句时import pymysqltables = [""]hosts = [""]user = ''password = ""port = db_host = ''for host in hosts: mysql = pymysql.connect(host=host, user=user, password=password, port=port) cursor = mysql.cursor() for dbtbs in
2021-01-11 15:38:23
852
原创 python3 读取mysql库生成hive建表语句
import pymysqlimport redef to_hive_type(type): if re.match(r'varchar|char|text|tinytext|longtext|blo',type,flags=0): return 'string' elif re.match(r'timestamp|date|bigint',type,flags=0): return 'bigint' elif re.match(r'int|ti
2021-01-11 15:35:31
507
原创 python 监控oozie任务失败及延时告警
python 监控oozie任务失败及延时告警思路：1、链接集群的任务运行相关的数据库 oozie2、查询近三分钟内失败或运行时间超过1小时的任务3、调用钉钉接口发送告警信息# -*- coding: UTF-8 -*-import mysql.connectorimport sysimport datetimeimport requestsreload(sys)sys.setdefaultencoding('utf8')MYSQL_CONFIG= {'host': '**
2021-01-04 09:26:06
635
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人