- 博客(8)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 flinkx基础学习
测试用例汇总测试配置操作测试结果自动创建表（mysql）mysqltomysql.json执行任务脚本无法自动创建目标表，任务运行报错自动创建表（hive）mysqltohive.json执行任务脚本自动创建目标表成功，同时可以指定分区采集多表mysqltomysqls.json执行任务脚本不支持采集多表，同时不支持写入多表全量采集(mysql数据源到hdfs目标源)mysqltohdfs.json执行任务脚本采集成功根据id增量采集
2021-12-08 17:53:04
1046
原创 HBase学习分享
1简介1.1 介绍HBase 是 Apache Hadoop 的数据库，是建立在 HDFS 之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的 NoSQL 的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。HBase 依赖于 HDFS 做底层的数据存储HBase 依赖于 MapReduce 做数据计算HBase 依赖于 ZooKeeper 做服务协调1.2 HBase数据库的特点它介于 NoSQL 和 RDBMS 之间，仅能通过主键(rowkey)
2021-09-07 18:18:23
193
原创 各种数据库&数据源版本查看方式整理
本篇整理了一些数据库以及数据源的版本查看方式：mysql进入服务器，mysql -V即可查看.如果不知道服务器密码，只知道数据库的账号密码，也可以通过Navicat链接，使用sql查看：select version();2.postgresqlpsql -V3.gbase进入数据库select @@version;4.kingbasesu kingbase kingbase -Vdameng登录：disql SYSDBA/SYSDBA@dm1:5236 查
2021-04-09 10:05:36
2068
原创 reindex简单使用学习总结，总结了在一些场景中使用reindex做Elasticsearch数据迁移的方式。
1.简单的reindexsource里是源index，dest里是目标索引。remote里必须是在新集群中加入了白名单的ip和portPOST _reindex{ "source": { "remote": { "host": "http://ip:port" }, "index": "index1" }, "dest": { "index": "index2" }}2.只reindex目标索引中缺少的o
2021-04-02 10:24:40
1220
4
原创 Elasticsearch Reindex低版本到高版本的问题
使用reindex迁移ES数据时，如果版本跨度大，例如1.x 2.x迁移到6.x 7.x，会遇到一些问题导致无法顺利迁移。本篇以迁移到Elasticsearch7.x为例1.mapping问题es 7.x 不支持string类型，可使用text或keyword来代替。如果要设置字段分词，使用keyword。反之则使用text。迁移过程中如果遇到源端的数据类型时String，需要在目标端提前建好类型为text或keyword的字段。es 7.x 不支持Boolean类型的true和false存在大写字
2021-04-02 10:02:31
944
原创 mysql&gbase权限问题，导致远程无法连接（权限问题）
安装并启动mysql&gbase数据库后，navicat&jdbc连接失败。如果ip、port和各项参数都没问题，有可能是权限问题导致，可以尝试通过以下方式进行配置问题1、jdbc连接gbase报错：2、navicat连接mysql报错1130 - Host XXX is not allowed to connect to this MySQL server。gbase解决方案1、启动gbase服务启动：gbase.server start停止：gbase.server
2021-03-31 11:02:24
1469
原创 hiveServer2-配置HA
hiveServer2-配置HA前提hiveserver2和zookeeper可以正常使用，zookeeper配置单机模式即可。此处假设zookeeper地址为192.168.**.112HA配置与启动hive-site.xml配置，添加如下内容：<property><name>hive.server2.support.dynamic.service.discovery</name><value>true</value><
2021-03-31 10:29:20
188
原创 Gbase安装启动报错，缺少libAprCpp.so.1
GBASE8A免费版启动报错原因排查：1.进入安装Gbase的用户su gbase2.查看报错的依赖包是否存在cd /home/gbase/GBase/server/lib3.如果不存在，创建软连接ln -sf libHadoopUtil.so.1.0.0 libHadoopUtil.so.1ln -sf libAprCpp.so.1.0.0 libAprCpp.so.14.如果存在，可以先备份，在创建软连接mv libHadoopUtil.so.1 libHadoopUtil.so.
2021-03-17 15:50:57
545
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人