- 博客(21)
- 收藏
- 关注
RSS订阅原创 2021-02-26
主备搭建主库：数据库名：DAMENG实例名：DMSERVER01PORT：32141IP:192.168.42.101备库：数据库名：DAMENG实例名：DMSERVER02PORT：32142IP:192.168.42.102一、主库：初始化库：./dminit path=/opt/dmdbms/data/启库：./dmserver /opt/dmdbms/data/dm.ini关库二、从主库向备库传输数据文件scp /opt/dmdbms/data/ root@19
2021-02-26 00:28:01
75
原创 2021-02-26
DM数据库学习一、前期环境准备1、确认部署环境系统信息●确认项目信息 项目名称、客户、销售、对应的业务系统名称●确认硬件环境 ip、操作系统、CPU、内存等信息●确认部署任务 需要部署多少个节点●确认部署方式 单机、主备、读写分离、HA、MPP、DS2、数据库安装配置检查●MD5 码是否与安装包一致： 比对 md5sum 和安装包中的 MD5 说明是否匹配。●确认初始化参数：页大小、大小写敏感、字符集、char 按字节还是字符存储等。3、操作系统参数检查4、网络环境检查servic
2021-02-26 00:23:34
116
原创 2021-02-26
用户环境变量配置#su - dmdba#vi .bash_profile#export DM_HOME=/dm8#export PATH=PATH:PATH:PATH:HOME/.local/bin:HOME/bin:HOME/bin:HOME/bin:DM_HOME/bin:$DM_HOME/tool环境变量生效：. .bash_profile设置文件最大打开数重启服务器生效：vi /etc/security/limits.confdmdba soft nofile 65536dmd
2021-02-26 00:21:06
70
原创 2021-02-26
Linux环境下达梦数据库配置ODBC数据源的方法1、首先确保DM数据服务正常开启，实例属于正常连接状态。2、安装unixODBC3、使用find命令找到odbcinst.ini文件，增加如下内容：[DM7 ODBC DRIVER]Description = DM ODBC driver for DM7Driver = /opt/dmdbms/bin/libdodbc.so4、使用find命令找到odbc.ini文件中增加如下内容：[DM7]DRIVER
2021-02-26 00:17:05
61
原创 2021-02-26
达梦数据库启动数据库服务的几种方式1、dmsrever前台启动[dmdba@localhost bin]$ ./dmserver /dm8/data/DAMENG/dm.inifile dm.key not found, use default license!version info: developUse normal os_malloc instead of HugeTLBUse normal os_malloc instead of HugeTLBDM Database Server
2021-02-26 00:14:23
63
原创 2021-02-26
达梦数据库本地配置归档的三种方式1、图形化工具配置右击链接–》管理服务器–》系统管理–》状态转换（打开->配置）–》归档配置–》归档模式（非归档->归档）–》增加归档日志信息–》确定2、修改dm.ini参数，配置dmarch.ini文件修改dm.ini参数 arch_ini=1；增加dmarch.ini文件；重启数据库服务生效3、命令行方式启动将数据库切换到mount状态下，增加归档日志信息SQL> alter database mount;SQL> alter da
2021-02-26 00:11:55
45
原创 2021-02-26
达梦共享集群dsc搭建每台主机至少准备 2 块网卡，提供内部网络和外部网络服务环境准备主机 对外ip 心跳ip 实例名 操作系统 内存redo1 192.168.118.66 10.10.10.66 DSC0 centos7 4Gredo2 192.168.118.88 10.10.10.88 DSC1 cetnos7 4G共享存储最少需要划分4块磁盘共享存储20G/dev/sdb1 raw1 dcr disk 2g/dev/sdb2 raw2 voting disk 3g/dev/sd
2021-02-26 00:09:29
62
原创 2021-02-26
**达梦数据库备份还原**（1）正常关闭数据库（2）进行脱机备份./dmrman CTLSTMT=“BACKUP DATABASE ‘/data/dmdbms/DAMENG/dm.ini’ FULL TO BACKUP_FILE1BACKUPSET ‘/data/dmdbms/BACKUP_FILE_01’”（3）拷贝文件到备库scp -r /data/dmdbms/BACKUP_FILE_01 192.168.3.99:/data/dmdbms（4）脱机数据...
2021-02-26 00:07:20
110
原创 2021-02-26
Oracle到dm8的双向同步1、dm8端的配置1）开启逻辑附加日志修改dm8中“dm.ini”中的RLOG_APPEND_LOGIC参数的值设置为1。2）开始归档日志（1）将dm8数据库配置文件“dm.ini”中的ARCH_INI参数值设置为1。（2）在与dm.ini相同目录下，增加配置文件“dmarch.ini”，并添加归档配置参数内容（可以参见dmarch_example.ini文件配置格式）。示例如下：[ ARCHIVE_LOCAL1]ARCH_TYPE = LOCALARCH_D
2021-02-26 00:04:25
583
原创 2021-02-25
DME搭建和使用三个主要功能1、客户端工具。用户能够通过DEM工具来进行达梦数据库的对象管理、状态监控、SQL查询与调试。2、监控与告警。本功能是达梦DEM工具的核心功能。通过远程主机部署代理，能够实现对远程主机状态和远程主机上达梦数据库实例状态的监控。重要的是，DEM的监控不只局限于单个数据库实例，它能够对数据库集群(MPP、RAC、数据守护)进行监控和管理。3、系统管理。DEM工具提供了工具本身的系统配置与权限管理，方便不同用户同时使用工具，并限制非admin用户的权限。一、环境搭建1.1搭
2021-02-25 23:54:50
88
原创 2021-02-25
dmdba用户设置了DISPLAY环境变量但还是无法调用图形化界面[root@localhost ~]# xhost +access control disabled, clients can connect from any host[root@localhost ~]# echo KaTeX parse error: Expected 'EOF', got '#' at position 30: …ot@localhost ~]#̲ su - dmdba 上一… cat .bash_profil
2021-02-25 23:52:02
655
原创 2021-02-25
TPCH Benchmark 的安装及测试[root@oracle ~]# ls linux.ziplinux.zip[root@oracle ~]# pwd/root[root@oracle ~]# unzip -q linux.zip[root@oracle ~]#2.生成.tbl数据文件[root@oracle data]# mkdir -p /opt/dbgen/tpch/data[root@oracle data]# cd /opt/dbgen/tpch/data[root@o
2021-02-25 23:43:41
91
原创 DM学习之路2之DM数据库实时主备环境的搭建
DM学习之路2之DM数据库实时主备环境的搭建一、环境说明1.1主备库的实例名采用“组名_守护环境_序号”的方式命名。1.2注意：总长度不能超过16。此次示例组名为“GRP1”配置为实时主备，主库命名为“GRP1_DM_01”，备库命名为“GRP1_DM_02”。1.3配置环境说明主机类型IP地址主库：192.168.3.77 实例名：GRP1_DM_01 操作系统：linux备库：192.168.3.66 实例名：GRP1_DM_02 操作系统：l...
2021-01-27 16:44:22
278
原创 Spark算子总结
Transformation：1.mapmap的输入变换函数应用于RDD中所有元素，而mapPartitions应用于所有分区。区别于mapPartitions主要在于调用粒度不同。如parallelize（1 to 10， 3），map函数执行10次，而mapPartitions函数执行3次。2.filter（function）过滤操作，满足filter内function函数为true...
2019-08-14 11:24:06
145
转载 HIVE的自定义函数
Hive自定义函数包括三种UDF、UDAF、UDTFUDF(User-Defined-Function) 一进一出UDAF(User- Defined Aggregation Funcation) 聚集函数，多进一出。Count/max/minUDTF(User-Defined Table-Generating Functions) 一进多出，如lateral view explore()...
2019-07-24 09:15:54
173
1
转载 Spark调优
Spark常见编程问题解决办法及优化目录1.数据倾斜2.TopN3.Join优化预排序的joincross join考虑Join顺序4.根据HashMap、DF等数据集进行filter5.Join去掉重复的列6.展开NestedDF7.计算session/组内时间差8.用flatMap替代map + filter9.分层抽样10.SQL与DF API11.Shuffl...
2019-07-17 20:07:52
149
原创 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
执行Hive sql时报错：执行语句和报错详情如下：hive (thnews_new)>> insert into table thnews_new.thnews_all> select date_id.id,date_id.source,date_id.sendTime,date_id.descripe,date_id.subject,date_id.type,cont...
2019-07-10 19:14:46
1205
5
转载 hive 参数调优
hive 参数调优2017年04月23日 13:49:43 任乌拉 阅读数 5748Map Reduce数量相关数据分片大小 (分片的数量决定map的数量)计算公式: splitSize = Math.max(minSize, Math.min(maxSize, blockSize))12set mapreduce.input.fileinputformat.split.maxsiz...
2019-07-10 19:11:41
204
原创 mysql中的where和having子句的区别
mysql中的where和having子句都可以实现过滤记录的功能,但他们的用法还是有一些区别的,看一例子:用group by和having子句联合来查出不重复的记录,sql如下:select uid,email,count() as ct from edm_user081217 GROUP BY email然后看这个，就容易理解了select uid,email,count() as c...
2019-07-08 19:00:08
96
1
转载 基于Python实现交互式数据可视化的工具，你用过几种？
01 Python中的数据可视化现在大部分的数据可视化研究都是通过D3进行的。遗憾的是，我只有短短8周跟学生相处的时间，所以我只能专注于讲授理论和实践相结合的内容来帮助他们成为数据科学家。虽然学生乐于使用可视化技术探索并解释问题，但他们中的大多数对于使用D3创建美丽的自定义可视化不太感兴趣。根据之前教授这门课的教授反馈来看，在这么短的时间内教授D3是不可能的。鉴于我自己对Python的热爱和...
2019-07-07 20:03:41
401
原创 mysql函数大全
MySQL函数大全及用法示例1、字符串函数★ascii(str)返回字符串str的第一个字符的ascii值(str是空串时返回0)mysql> select ascii(‘2’); -> 50mysql> select ascii(2); -> 50mysql> select ascii(‘dete’); -> 100★ord(str)...
2019-07-07 19:59:18
151
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人