YauChungYin-CSDN博客

原创 springboot mybatis和spark-sql、SDB对接

springboot mybatis和spark-sql对接本次将在已经部署了spark、hive和SequoiaDB的环境中，通过实验来实现springboot、mybatis框架与spark-sql的整合，通过hive-sql实现spark的鉴权和权限控制，并能够通过springboot、mybatis访问spark查询SequoiaDB中的数据，具体部署环境为下：jdk1.8 spark2.1.1 hadoop2.9.2 hive1.2.2本次实验SequoiaDB巨杉数据库集群拓仆结构为

2020-08-04 17:18:44 2084

原创 sparkSQL实现JOIN查询

在SparkSQL上对SDB内的两个集合进行关联（JOIN）查询。要求如下：1.为两个集合在PG内创建两张表；2.查看创建的两张表的表结构；3.JOIN关联查询需要走索引；创建student外表：create table student using com.sequoiadb.spark options (host 'ysx:11810,ysx1:11810,ysx2:11810', collectionspace 'pratice4', collection student', userna.

2020-07-22 11:22:04 414

原创 SDB与spark对接

完成SparkSQL与SDB的对接。要求如下：1.完成Spark的部署安装；2.完成与SDB的对接；3.从SparkSQL创建表映射到SDB集合，验证对接是否成功；spark的部署安装第一步：ssh免密登录配置，生成公钥和私钥ssh-keygen -t rsa第二步：将公钥拷贝到要免密登录的（spark集群）机器上ssh-copy-id ysxssh-copy-id ysx1ssh-copy-id ysx2第三步：拷贝jdk压缩包到系统并解压到/opt目录下（集群机子内同理）.

2020-07-22 11:18:34 247

原创 SDB集群升级

完成SDB数据集群升级。要求如下：1.集群升级前备份；2.集群从2.8.5升级到3.4；3.采用离线升级方式进行；集群升级第一步：数据备份db.backupOffline({Name:"sc_backup",Path:"/opt/sequoiadb/tmp/backup/%g",Overwrite:true})//只能备份编码节点信息，复制组没有备份var bc1 = new Sdb("localhost",11820)dbg1.backupOffline({Name:"sc_back.

2020-07-22 11:07:20 190

原创 PG内两表JOIN查询

在PostgreSQL上对SDB内的两个集合进行关联（JOIN）查询。要求如下：1.为两个集合在PG内创建两张外表；2.查看创建的两张外表的表结构；3.JOIN关联查询需要走索引；创建两张外表：CREATE FOREIGN TABLE student ( sid int,sname text,sage text,ssex text,cid text,sprovince text,scity text,sphone text,semail text) SERVER sdb.

2020-07-15 16:52:20 1249

原创 SDB与PG对接

完成PostgreSQL与SDB的对接。要求如下：1.完成PostgreSQL的部署安装；2.完成与SDB的对接；3.从PG创建外表映射到SDB集合，验证对接是否成功；PostgreSQL的部署安装为安装程序添加权限cd /home/ysx/sequoiadb-3.4chmod u+x sequoiasql-postgresql-3.4-x86_64-installer.run运行安装程序./sequoiasql-postgresql-3.4-x86_64-installer.run.

2020-07-15 16:49:25 211

原创 SDB数据迁移

Linux操作系统需要变为redhat7.2，需要将当前系统数据迁移至Redhat7.2。要求如下：1.使用SDB导出工具将数据从SDB中导出，并存储到宿主机(自身WINDOWS)；2.导出格式必须是CSV；3.安装redhat7.2系统；4.进行SDB集群部署3.0，三复制组，一机一组一节点；5.数据需要切分到三机上；6.数据导入SDB中；使用SDB导出工具将数据从SDB中导出，并存储到宿主机(自身WINDOWS)；cd /opt/sequoiadbbin/sdbexprt -c p.

2020-07-13 10:47:21 457

原创 JS数据删除

结合设计的表删除10条数据。要求如下：1.数据查询必须用Javascript完成，必须形成脚本；2.删除SDB中的10条数据；4.脚本执行放到Shell脚本中进行调用执行；删除SDB中的10条数据；var db=new Sdb("localhost",11810);db.pratice4.class.count();db.pratice4.class.remove({cid:{"$gt":590,"$lt":601}});//删除10条数据之后查看数量是否产生变化db.pratice4.

2020-07-09 14:37:58 605

原创 JS数据更新

结合设计的表完成20条数据更新。要求如下：1.数据查询必须用Javascript完成，必须形成脚本；2.更新10条数据，此10条数据在数据库中已经存在；3.更新10条数据，此10条数据在数据库中不存在；4.脚本执行放到Shell脚本中进行调用执行；更新10条数据，此10条数据在数据库中已经存在：var db=new Sdb(“localhost”,11810);db.pratice4.student.update({"$set":{sname:"zhangsan"}},{sid:{"$gt.

2020-07-09 14:34:57 738

原创 JS数据插入

结构设计表写入100条数据。要求如下：1.数据查询必须用Javascript完成，必须形成脚本；2.插入的数据需要打屏显示，每张表的插入数据量控制在100；3.脚本执行在Linux Shell下直接执行；创建插入class表的shell脚本insertClass.jsvi /opt/sequoiadb/insertClass.js脚本内容如下var db=new Sdb("localhost",11810);for(var i=501;i<=600;i++){//自定义变量同时.

2020-07-08 11:15:35 401

原创 JS数据查询

根据设计表的查询逻辑进行数据查询。要求如下：1.数据查询必须用Javascript完成，必须形成脚本；2.其中含有按条件统计总数、按条件查询1条、按条件查询所有记录操作；3.脚本执行在Linux Shell下直接执行；对student表进行查询：1.创建按条件统计总数的shell脚本selectCountBySid.jsvi /opt/sequoiadb/selectCountBySid.js脚本内容如下：var result=db.pratice4.student.find({"si.

2020-07-08 11:13:55 2949

原创 SDB创建索引

结合设计表的“查询逻辑”创建索引。要求如下：1.其中一条在SDB Shell上创建，另外一条用Linux Shell创建；（student表的在SDB shell上创建，class表的在Linux shell上创建）在SDB shell上对student集合创建唯一索引//连接至协调节点var db=new Sdb("localhost",11810)//创建唯一索引db.pratice4.student.createIndex("sidIndex",{al:1,sid:1},true,.

2020-07-07 16:39:02 219

原创建SDB数据表

1.student表和class表均采用多维分区模式(水平+垂直)；2.创建的数据表中student是snappy压缩，class是lzw压缩；第一步：创建域db.createDomain("testdomain3",["datagroup1","datagroup2","datagroup3"],{AutoSplit:true});第二步：查看所有域db.listDomains()第三步：创建student表（使用snappy压缩）//创建集合空间 db.createCS("pra.

2020-07-07 15:15:07 390

原创 SDB数据导入

要求1.导入时数据批量写设置为100，且导入失败则报错中止；2.student表导入命令在Linux命令行下执行，class表的导入命令放到Shell脚本中执行；第一步：创建表//创建student表db.pratice4.createCL("student",{ShardingKey:{sid:1},ShardingType:"hash"})//创建class表db.pratice4.createCL("class",{ShardingKey:{cid:1},ShardingType:"

2020-07-07 15:11:26 622

原创 js构造数据

1.构造脚本必须用JavaScript；2.数据表有具体含义，表字段不少于8个，数据量控制在1000-2000；3.生成的数据是CSV格式；表结构说明：学生（student）表：sidsnamesagessexcidsprovincescitysphonesemailintvarchar(20)intintintvarchar(20)varchar(20)intvarchar(20)学生编号学生姓名学生年龄学生性别班级编号省份名.

2020-07-06 13:44:27 312

原创 SDB集群部署

hosts文件配置详情：集群节点分布情况：集群物理架构：要求：1.使用命令行进行集群部署2.三台虚拟机组建集群3.三复制组，一组三节点4.SDB版本采用3.4第一步：连接至本地的sdb端口var oma=new Oma("localhost",11790)第二步：创建协调节点并启动oma.createCoord(18900,"/opt/sequoiadb/database/tmp/coord/18900")第三步：连接到临时协调节点var db=new Sdb("loca

2020-07-03 10:54:26 692

qq_40207018的博客