- 博客(46)
- 收藏
- 关注
原创 oracle 11g rac grid命令
ORACLE集群启动过程1.init.crsd2.init.cssd3.init.evmd[root@rac1 grid]# ocrcheckStatus of Oracle Cluster Registry is as follows : Version : 3 Total space (kbytes) : 262120 Used space (kbytes) :...
2021-06-08 14:31:46 563
原创 centos7 搭建oracle11g rac
一、部分理论RAC,全称real application clusters, 译为“实时应用集群”,是Oracle新版数据库中采用的一项新技术,是高可用性的一-种,也是Oracle 数据库支持网格计算环境的核心技术。●VIP -虚拟IP地址(Virtual IP)。TCP协议是一种面向连接的可靠的传输层协议,它保证了数据的可靠传输,对于一些出错,超时丢包等问题TCP设计的超时与重传机制。其基本原理:在发送一个数据之后,就开启一个定时器,若是在这个时间内没有收到发送数据的ACK确认报文,则对该报文进行重
2021-06-08 14:30:10 2166
redis安装与配置
一、部分理论1.redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API2.redis是基于内存(内存使用小),且是单线程,用于访问量大的,并发数多的计算(快)和统计。 二、安装与配置1.官网下载安装包,解压tar -xzvf redis-5.0.4.tar.gzcd redis-5.0.4make修改配置文件vi /root/red.
2021-06-07 08:13:23 304
原创 nmon安装与配置
一、安装与配置1.下载 http://nmon.sourceforge.net/pmwiki.php?n=Site.Download centos7_x86_64适合的最新nmon版本为: nmon16e_mpginc.tar.gz 3.5MB http://nmon.sourceforge.net/pmwiki.php?n=Site.Nmon-Analyser 下载分析excel工具 nmon_analyser_v61.zip2.解压 tar -zxvf nmon16e_mpginc....
2021-06-07 08:12:26 446
原创 mysql-cluster安装与配置
一、部分理论sql节点:要求建表时使用ndbcluster存储引擎,存放表结构,数据保存在内存中。访问Cluster数据的节点,客户端节点是使用NDB Cluster存储引擎的传统MySQL服务器。 通常,SQL节点是使用命令“mysqld –ndbcluster”启动的,或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动数据节点:保存Cluster的数据,数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节...
2021-06-07 08:11:08 755
原创 haproxy安装与配置
一、部分理论 HAProxy是一个使用C语言编写的自由及开放源代码软件[1],其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。 HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。 HAProxy实现了一种事件驱动, 单一进程模型,此模型支持非常大的并发连接数。多进程或...
2021-06-07 08:10:00 249
原创 mycat的安装与配置
一、部分理财 可以解决流行数据库多节点、主从结构、读写分离 问题二、下载与安装1.解压 tar -xzvf Mycat-server-1.6.7.4-release-20200105164103-linux.tar.gz2.修改配置文件vi /root/mycat/conf/server.xml<?xml version="1.0" encoding="UTF-8"?><!-- - - Licensed under the Apache License, Versio...
2021-06-07 08:09:07 730
原创 powershell使用xming远程图形化linux安装软件
1.在windwos下载xming并安装:https://sourceforge.net/projects/xming/ xming属于开源,免费软件。 xmanager也很方便,但属于商业软件2.在windwos打开powershell中输入:setx DISPLAY "localhost:0.0" 。3.在windwos打开powershell中输入如下命令cd /mkdir devcd devmkdir tty上面命令是为了解决报错CreateProcessW f...
2021-06-07 08:06:13 929
原创 20210203_flink学习笔记
一、flink理论知识flink:流式处理无界和有界数据的处理引擎lambda:也是流处理,架构不同。已淘汰Storm:是无状态流处理器(即它不能定义和维护状态)trident:Spark Streaming:遇到了吞吐量和延迟性难 两全的问题Storm ==> trident ==> spark Streaming(微批次流) ==> flink(真流式) #flink 发展Dispacher:分发器jobmanager:任务及调度分配管理,人工提交任务t...
2021-06-03 15:07:32 71
原创 20210127_spark学习笔记
一、部分理论spark:由Scala语言开发的快速、通用、可扩展的基于内存的大数据分析引擎。在mapreduce上进行了优化,但没mapreduce稳定。Spark Core是spark平台的基础通用执行引擎,所有其他功能都是基于。它在外部存储系统中提供内存计算和引用数据集。spark最基础的最核心的功能Spark SQL是Spark Core之上的一个组件,它引入了一个称为SchemaRDD的新数据抽象,它为结构化和半结构化数据提供支持。Spark Streaming利用Spark Core的快
2021-06-03 15:06:58 227
原创 20210126_sqoop学习笔记
一、部分理论sqoop:实现数据从数据库的导入导出二、安装与配置1.官网下载并解压。下载 1.4.6 。 1.4.7为测试版本tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gzmv /root/sqoop-1.4.6.bin__hadoop-2.0.4-alpha /root/sqoop-1.4.6mv /root/sqoop-1.4.6/conf/sqoop-env-template.sh /root/sqoop-1.4.6/conf/s
2021-06-03 15:06:14 109
原创 20210121_hbase学习笔记
一、Hbase理论Hbase:一种分布式、可扩展、支持海量数据存储的Nosql(非关系型)数据库。 读比写慢name space:和数据库database一样。里面有hbase自己的default,Hbase库名region:表的切片。当表数据量太大时,把数据量切分开。类似hash分区客户号row:Hbase保留数据的行,里面有rowkey及对应其它列组成column:由列族column family和列限定符column Qualifier。time stamp:每条数据写入的时间戳。ce.
2021-06-03 15:05:41 158
原创 20210118_kafka学习笔记
一、部分理论kafka:分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域topics:主题,生产者生产主题信息提供给消费者消费producer:生产者,生产消息到主题consumer:消费者,自己从主题拉取消息。 分区数一定要大于消费者数量partitions:kafka分区是为了做负载均衡。 一个主题的分区数只能给一个消费者,如果消费者数量大于主题的分区数就会有消费者消费不到数据replication:副本数是为了高可用kafka controller:类似zookee.
2021-06-03 15:05:08 122
原创 20210114_flume学习笔记
一、部分理论作用:实时监控文件,文件夹内的变化,并将变化数据实时加载到控制台,hdfs等地方flume:启动为agent,分为三部分 source --> channel --> sinksource:负责接收数据,处理各种日志数据类型,包含如下 netcat(类似qq聊天工具), exec(linux读数据命令都可以,如tail -F。缺点是数据丢失,每次都要重读10行), spooling directory(实时监控文件夹内增加文件变化。缺点是文件...
2021-06-03 15:04:29 210 1
原创 20210113_hadoop_ha高可用学习笔记
一、hadoop集群的安装与配置,全部按照hadoop基础学习笔记中先配置高可用没有了secondarynamenode,使用JournalNodes来替代,且必须要有三台机器有JournalNodes新增加了一个namenode(standby),以前namenode还是namenode(active)新增加了一个resourcemanager(standby),以前resourcemanager还是resourcemanager(active)二、hadoop高可用参数修改配置 ...
2021-06-03 15:03:54 152
原创 20210109_hive学习笔记
一、hive安装与配置 1.下载hive apache-hive-3.1.2-bin.tar.gz 需要先安装hadoop和mysql,且启动服务2.sftp上传到linux,tar -xzvf apache-hive-3.1.2-bin.tar.gz解压3.修改配置文件mv /root/apache-hive-3.1.2-bin /root/hive-3.1.2mv /root/hive-3.1.2/conf/hive-env.sh.template /root/hive-3.1.2/...
2021-06-03 15:03:12 338
原创 20210106_zookeeper学习笔记
一、zookeeper 下载安装 1.官网下载,下载带bin的已编译的包,不然不能执行 2.上传到服务器 192.168.100.101 3.tar -zxvf apache-zookeeper-3.6.2-bin.tar.gz mv apache-zookeeper-3.6.2-bin zookeeper-3.6.2 mv /root/zookeeper-3.6.2/conf/zoo_sample.cfg /root/zookeeper-3.6.2/conf/zoo.cfg 4...
2021-06-03 15:02:35 116
原创 20201216_hadoop高级学习笔记
一、部分理论知识,架构图 hadoop是用java写的1.resource manager:处理客户端请求;监控nodemanager;启动或监控application master;资源分配或调度2.node manager:管理单个节点上资源;处理来自resource manager命令;处理来自application master命令3.application master:负责数据切分;为单个job任务申请资源;任务的监控和容错4.container:封装管理内存、cpu、磁盘、网络等资源.
2021-06-03 15:01:51 193
原创 mysql 8.0.22安装linux及主从搭建
一、软件下载与安装1.mysql官网下载二进制文件,上传服务器,解压2.参考官网安装手册 docshell> groupadd mysqlshell> useradd -r -g mysql -s /bin/false mysqlshell> cd /usr/localshell> tar xvf /path/to/mysql-VERSION-OS.tar.xzshell> ln -s full-path-to-mysql-VERSION-OS mysql #此.
2020-12-16 15:57:12 530 1
原创 mysql 8.0.22安装windows及基础
一、mysql 8.0.22安装windows1.官网下载mysql免安装版软件, 解压.2.管理员运行CMD ,执行命令:mysqld --install3.初始化数据库 mysqld --initialize --console 会产生随机密码4.启动mysql服务 net start mysql5.修改密码 mysql -h localhost -P 3306 -u root -p 输入随机密码后修改新密码 alter user 'root'@'localhost' identified..
2020-12-16 15:56:24 245
原创 20200909_hadoop基础学习笔记
hadoop安装一、环境配置1.ip地址确定,修改文件/etc/sysconfig/network-script/ifcfg-ens332.主机名确定hostnamectl set-hostname master3.hosts文件修改192.168.100.101 master192.168.100.102 s1192.168.100.103 s24.防火墙关闭systemctl stop firewalld.servicesystemctl disable firewalld.
2020-11-25 16:46:23 204
转载 linux本地yum源配置
1.放入Centos6.4的镜像光盘或找到镜像文件mount –o loop –t iso9660 CentOS-6.0-i386-bin-DVD.isomount /dev/cdrom /media/cdrom2.编辑自己的repo文件:(文件位置/etc/yum.repos.d/,后缀一定是.repo结束.为了使用自己搭建的yum源我这里删除了自带的(rm –f .
2016-04-07 17:53:00 316
转载 windows批处理命令大全
1 echo 和 @@ #关闭单行回显echo off #从下一行开始关闭回显@echo off #从本行开始关闭回显。一般批处理第一行都是这个echo on #从下一行开始打开回显echo #显示当前是 echo off 状态
2016-04-07 17:51:49 2143
转载 datastage dsjob命令
dsjob解释一ETL调度中不乏要用shell脚本来运行DATASTAGE中的JOB,现测试一下DSJOB的用法然后总结一下(边测试边总结)dsjob -run [-mode ] PROJECT_NAME JOB_NAME-mode为选择运行模式,NORMAL表示正常运行,此时和不写-mode是一样的;RESET表示重置,当job在中止状态时要先RESET,
2016-04-07 17:50:50 1736
原创 Linux命令全称及目录结果
FilesystemHierarchyStandard(FHS)/:根目录,所有的目录、文件、设备都在/之下,/就是Linux文件系统的组织者,也是最上级的领导者。 /bin:bin就是二进制(binary)英文缩写。在一般的系统当中,都可以在这个目录下找到linux常用的命令。系统所需要的那些命令位于此目录。 /boot:Linux的内核及引导系统程序所需要
2016-04-07 17:49:12 1838
原创 2010 work Summary
1.Win2003 取消开机Ctrl+Alt+Delete的操作步骤:打开[控制面板]的[管理工具]再打开[本地安全策略]是一个标题为[本地安全设置]的窗体,点左边[安全设置]里的[本地策略],再点开里面的[安全选项],然后找到[禁用按CTRL+ALT+DEL进行登录的设置]双击这一条,就可以看到启用和停用,选启用后,再点击确认,就ok了!2.关闭系统事件跟
2016-04-07 17:48:16 578
原创 SUGA常用语句
--请求组:Request Group 字段SELECT distinct c.REQUEST_GROUP_NAME--SELECT c.REQUEST_GROUP_NAMEFROM FND_CONCURRENT_PROGRAMS A, fnd_request_group_units b,fnd_request_groups c,fnd_application d,FN
2016-04-07 17:46:47 558
转载 CentOS 6.3(x32)下安装Oracle 10g R2
CentOS 6.3(x32)下安装Oracle 10g R2一、硬件要求1、内存 & swapMinimum: 1 GB of RAMRecommended: 2 GB of RAM or more检查内存情况# grep MemTotal /proc/meminfo# grep SwapTotal /proc/memi
2016-04-07 17:45:27 358
原创 rman恢复Oracle数据库
一:恢复到上一次备份时1.恢复spfile$:sqlplus "/as sysdba"sql:shutdownsql:startup---error 设置环境变量$:export ORACLE_SID=orcl寻找安装数据库时产生的pfile文件,一般在如下文件夹下$:cd /u01/app/oracle/admin/or
2016-04-07 17:42:27 248
原创 oracle dbms_logmnr
分析数据库日志变化execute dbms_logmnr.add_logfile(logfilename=>'/oracle/opt/oracle/flash_recovery_area/ORCL/archivelog/2012_12_20/o1_mf_1_3_8f5tk1b6_.arc',options=>dbms_logmnr.new);/execute dbms_logm
2016-04-07 17:39:36 381
原创 LINUX 学习篇
一、用man查看指令用法时,最上面有指令使用的权限标示数字 1 用户在shell环境中可以操作的挃令戒可执行文件 2 系统核心可呼叫的凼数不工具等 3 一些常用的凼数(function)不凼式库(library),大部分为C的凼式库(libc) 4 装置档案的说明,通常在/dev下的档案 5 配置文件戒者是某些档案的格式 6 游戏(games
2016-04-07 17:37:11 262
原创 ORACLE常用SQL语句
一、查询锁及原因并解锁--查找锁:select o.object_name as 对象名称, s.username, s.sid,s.serial#, p.spid as 系统进程号, s.logon_timefrom v$locked_object l , dba_objects o , v$session s ,
2016-04-07 17:35:35 314
原创 DBA索引优化 与 sqlldr使用
一、分析索引1.概念:1、高基数:简单理解就是表中列的不同值多。 2、低基数:建单理解就是表中的列的不同值少3、已删除的叶节点数量:指得是数据行的delete操作从逻辑上删除的索引节点 的数量,要记住oracle在删除数据行后,将 “ 死 “ 节点保留在索引中,这样做可以加快sql删除操作的速度,因此oracle删除数据行后可以不必重新平衡索引4、索引高度:
2016-04-07 17:34:12 648
原创 Oracle物化视图
CREATE MATERIALIZED VIEW WM_MATERIALIZED01TABLESPACE USERBUILD DEFERRED --/IMMEDIATE/NO PREBUILD TABLE/REFRESH FORCE --/FAST/COMPLETE/NEVER/ON DEMAND --/COMMIT/START WITH SYSDATE
2016-04-07 17:33:18 213
原创 Oracle UTL_SMTP邮件发送
CREATE OR REPLACE PROCEDURE send_mail(p_recipient VARCHAR2, -- 邮件接收人 p_subject VARCHAR2, -- 邮件标题 p_message V
2016-04-07 17:31:12 2658
转载 SQLPLUS中设置参数
SQL>set colsep' '; //-域输出分隔符SQL>set echo off; //显示start启动的脚本中的每个sql命令,缺省为onSQL> set echo on //设置运行命令是是否显示语句SQL> set feedback on; //设置显示“已选择XX行”SQL>set feedb
2016-04-07 17:30:00 2318
原创 Linux常用命令整理
1、tar :解压或压缩文件 -j 以.tar.bz2压缩或解压 -z 以.tar.gz压缩或解压 -c 创建打包文件 -x 解除打包文件 -v 显示执行过程 -f 后跟文件名,一般必须有 -t 显示打包文件中的内容 -p :使用原文件的原来
2016-04-07 17:29:22 255
转载 正则表达式(适用于oracle及linux)
\ :本身无意义,引用下一个字符* :匹配多次或0次出现 >=0+ :匹配多次出现 >=1? :匹配一次或0次出现| :指定其它匹配的运算符^ :匹配行的开始字符$ :匹配行的介绍字符. :匹配除null以外的受支持的字符集中的任何字符[] :指定匹配列表
2016-04-07 17:27:03 230
原创 oracle锁概念 与 v$parameter字段介绍
TM:table level lockTX:row level lockRS:row shareRX:row exclusiveS:shareSRX:share row exclusiveX:exclusiveSSX:share row exclusive table lock(主外键时存在)SS:row share table lo
2016-04-07 17:26:28 651
原创 oracle RAC搭建过程
1、系统安装 linux2.6.18 ,所有节点执行 略2、增加组,所有节点执行 groupadd-g oinstall groupadd -g asmadmin groupadd -g dba groupadd -g asmdba groupadd -g asmoper3、增加用户,并设置其密码,
2016-04-07 17:24:29 607
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人