实习
alwaysStudy1998
www.github.com/chenpengyu1998
展开
-
流处理应用开发(SequoiaDB)
实验 1基于 SequoiaDB 的 Flink 应Flink API 抽象级别:从上图中可以看到,Flink 的 Core(也称之为 Runtime )可运行在常见的资源环境中,如本地 JVM,集群和云平台中。其基础 API 可以看到分为用于流场景的 DataStream 与批场景的 DataSet,基于这两种 API,Flink 又抽象出 Table API 与 CEP 和 ML 等高级接口,本次课程只演示 DataStream API 和 Table API 的使用。获取执行环境原创 2020-06-04 15:34:17 · 453 阅读 · 0 评论 -
Spark开发实例(SequoiaDB)
实验 1搭建 Spark 实例应用开发环境程序中会创建 JDBC 连接,并通过 JDBC 在 Spark SQL 中创建 jdbc_sample 集合的映射表,向映射表中插入一条记录后查询 jdbc_sample 记录打印到控制台,最终关闭 JDBC 的连接资源// Call the predefined SdbUtil class to create a collection space and collectionSdbUtil.initCollectionSpace("sample");Sd原创 2020-06-03 12:58:36 · 353 阅读 · 0 评论 -
对象存储应用开发
实验 1 搭建对象存储应用开发环境Maven依赖的POM文件: <dependencies> <dependency> <groupId>com.sequoiadb</groupId> <artifactId>sequoiadb-driver</artifactId> <version>3.4</version>原创 2020-05-31 17:20:34 · 679 阅读 · 0 评论 -
JSON 实例应用开发
实验 1 搭建 JSON 实例应用开发环境通过 Java SDK 进行数据库连接// Create a database link.Sequoiadb db = new Sequoiadb("sdbserver1", 11810, "sdbadmin", "sdbadmin");try { // Get the information from data set. DBCursor rgs = db.listReplicaG原创 2020-05-30 17:15:54 · 355 阅读 · 0 评论 -
MySQL实例开发(SequoiaDB高级课程)
实验 1 搭建 MySQL 实例应用开发环境使用 JDBC 配置连接信息,查询 employee 表:Class.forName("com.mysql.jdbc.Driver");// MySQL usernameString user = "root";// MySQL passwordString password = "root";// MySQL connection addressString url = "jdbc:mysql://sdbserver1:3306/mysqlTe原创 2020-05-29 17:33:01 · 312 阅读 · 0 评论 -
SequoiaDB的PostgreSQL实例管理
PostgerSQL实例的创建:创建pg实例:/opt/sequoiasql/postgresql/bin/sdb_sql_ctl addinst myinst -D database/5432/启动实例:/opt/sequoiasql/postgresql/bin/sdb_sql_ctl start myinst在SequoiaDB中创建集合空间和集合:创建 company_domain 数据域:db.createDomain("company_domain", [ "group1", "gr原创 2020-05-22 15:53:02 · 384 阅读 · 0 评论 -
SequoiaDB实例管理
创建MySQL实例:设置 SequoiaSQL-MySQL 实例程序权限为可执行:chmod +x sequoiasql-mysql-3.4-linux_x86_64-installer.run创建myinst实例:/opt/sequoiasql/mysql/bin/sdb_sql_ctl addinst myinst -D database/3306/配置参数有三种修改方式:使用工具 sdb_sql_ctl 修改配置,配置生效需重新启动 MySQL 服务。例如: bin/sdb_sql_ctl原创 2020-05-20 19:13:38 · 690 阅读 · 0 评论 -
SequoiaDB的备份和恢复
创建逻辑域:db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true } );创建集合空间:db.createCS("company", { Domain: "company_domain" } );创建集合:db.company.createCL("employee", { "ShardingKey": { "_id": 1 }, "ShardingType": "hash", "Repl原创 2020-05-19 19:02:14 · 309 阅读 · 0 评论 -
集群扩容和缩容
创建一个新的数据组:db.createRG("group4");在group4创建1一个数据节点副本:db.getRG("group4").createNode("sdbserver1", 11850, "/opt/sequoiadb/database/data/11850/");createNode方法说明启动数据组:db.getRG("group4").start();数据域 company_domain 增加数据组: db.getDomain("company_domain").addGrou原创 2020-05-19 18:52:25 · 645 阅读 · 0 评论 -
数据库存储计算集群管理
查找本机已经部署数据节点:sdblist -l -r data进入其中一个数据节点:cd /opt/sequoiadb/database/data/11820/查看目录内容:ls -trl创建company_domain逻辑域:db.createDomain("company_domain",["group1","group2","group3"],{AutoSplit:true})创建company集合空间:db.createCS("company",{Domain:"company_domai原创 2020-05-19 16:32:53 · 277 阅读 · 0 评论 -
SequoiaDB直接管理存储计算引擎
集群管理操作:链接节点:var db = new Sdb("localhost", 11810);查看集群拓扑结构:db.list(SDB_LIST_GROUPS);检查集群节点状态,集群有异常节点时,在 “ErrNodes” 字段中列出:db.snapshot(SDB_SNAP_DATABASE);创建集合空间和集合:创建域:db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true原创 2020-05-17 16:23:42 · 211 阅读 · 0 评论 -
SequoiaDB Certified Database Professional SCDP学习笔记
查看SequoiaDB的版本:sequoiadb --version查看 SequoiaDB 巨杉数据库存储引擎节点列表:sdblist查看 MySQL 实例状态: sdb_sql_ctl status登录Mysql (注意这里使用mysql -u root 不能登录,不确定是什么原因,感觉应该是因为默认的不是127.0.0.1:3306)创建并使用database创建自增逐渐字段的表创建包含唯一索引的manager 表写入操作:查找和排序:两个表的关联功能:数据的更新:原创 2020-05-16 18:34:29 · 291 阅读 · 0 评论 -
SDBTOP的使用
进入主窗口后按’d’键,列出数据库节点的数据库监视信息,默认3秒刷新一次按C进行筛选进入主窗口,按’c’键,列出数据库节点上的所有集合空间进入主窗口,按’s’键,列出数据库的资源使用情况:注意:这里配置文件的位置是 SequoiaDB安装目录下conf中samples/sdbtop.xml文件...转载 2020-05-15 12:48:25 · 289 阅读 · 0 评论 -
SNAPSHOT命令行
list/snapshot命令行列表类型:在sequoiaDB中,列表是一种轻量级的得到系统当前状态的命令,主要分为以下类型db = new Sdb()db.list(SDB_LIST_)快照类型:快照是一种得到系统当前状态的命令,主要分为以下类型:db= new Sdb()db.snapshot(SDB_SNAP_)使用SQL的方式去访问sdb 'db.exec(“select * from $SNAPSHOT_SESSION where NodeName in(”*")")...转载 2020-05-15 12:06:28 · 907 阅读 · 0 评论 -
集群管理监控
为什么要做sdb的集群监控?了解数据库及应用总体性能调优数据库配置参数进行问题诊断和监控更好的理解用户和应用程序活动图形化监控手段:命令行监控手段:注意这里的命令:db.snapshot(SDB_SNAP_SYSTEM)通过SAC进行监控:监控主机:...转载 2020-05-15 11:33:36 · 505 阅读 · 0 评论 -
SequoiaDB数据备份恢复
全量备份:可以使用mysqldump直接备份整个库或者是备份其中某一个库或者一个库中的某个表。增量备份:增量备份是针对于数据库的bin-log日志进行备份的,需要开始数据库的bin-log日志。增量备份是在全量的基础上进行操作的。增量备份主要是靠mysql记录的bin-log日志。(参考资料链接)备份的时候记得删除损坏机的.SEQUOIADB_STARTUP和.SEQUOIADB_STARTUP_HISTORY文件...转载 2020-05-14 17:24:45 · 209 阅读 · 0 评论 -
从Oracle迁移数据
转载 2020-05-14 16:43:00 · 141 阅读 · 0 评论 -
MySQL迁移数据
mydumper是多线程的实时复制转载 2020-05-14 09:58:12 · 229 阅读 · 0 评论 -
sequoiaDB的高可用与扩缩容
协调节点要能正确的分发任务就得和编目节点去做通信。编目节点主要是用于存储整个分布式的存储结构,节点重要参数等(元数据的信息)做数据存储的是由数据节点组。(一个数据组最多有7个数据节点)将一个集合中的数据划分成多个不相交的子集,再将这些子集切分到数据组(复制)里去,这种就叫做数据分区,这种不同的子集就叫做分区。逻辑上一个大的集合,按照一个字段或者多个字段的值,把一个大的集合划分成一个小的集合,然后再把这些小的集合存放到不同的区块上(物理机上不同磁盘或者是不同物理机上),好处是:带来水平扩展能力,提高.转载 2020-05-13 16:26:58 · 287 阅读 · 0 评论 -
SequoiaDB简介和初识
为什么需要一个分布式的数据库:因为需求的增加和对吞吐量的需求增加,所以发生了下述的转型主要核心:每一组微服务都是一个可以弹性扩展的框架。这种每组微服务都有一个数据库作为数据支撑,这样有一个缺陷:比如这组有20个微服务,但是数据库只要一个的话,这样会成为微服务扩张的瓶颈(弹性扩张)。第二个缺陷:从原来的一个数据库拆散到几十个数据库,那么如果进行跨库的分析就会对DBA和分析人员是一个巨大的挑战(...原创 2020-05-06 17:06:29 · 1166 阅读 · 0 评论