- 博客(29)
- 收藏
- 关注
RSS订阅原创 Innodb_force_recovery
一、参数介绍 参数innodb_force_recovery影响了整个Innodb存储引擎的恢复状况。该值默认为0，表示当需要恢复时执行所有的恢复操作。当不能进行有效恢复时，如数据页发生了corruption，Mysql数据库可能会宕机，并把错误写入错误日志中。 但在某些情况下，可能不需要...
2019-04-15 22:08:39
2644
原创 InnoDB存储引擎中的线程
默认情况下，InnoDB引擎有7个后台进程: 4个IO thread 1个master thread 1个锁监控 1个错误监控可以从show engine innodb status 查看：BACKGROUND THREADsrv_master_thread loops: 34 srv_active, 0 srv_shutdown, 2351 srv_idlesrv_master_th...
2019-04-15 21:34:09
224
原创 从表的大小看MySQL存储引擎的区别
mysql> show create table sbtest1;| sbtest1 | CREATE TABLE sbtest1 (id int(10) unsigned NOT NULL AUTO_INCREMENT,k int(10) unsigned NOT NULL DEFAULT ‘0’,c char(120) NOT NULL DEFAULT ‘’,pad char(...
2019-04-15 21:21:10
117
原创 备份恢复--innobackex
percona-xtrabackup-2.4.4-Linux-x86_64.tar.gz如果要使用一个最小权限的用户进行备份，则可基于如下命令创建此类用户：mysql> CREATE USER ’bkpuser’@’localhost’ IDENTIFIED BY ’s3cret’;mysql> REVOKE ALL PRIVILEGES, GRANT OPTION FROM ’...
2018-12-12 17:10:26
359
原创 How to Disable Parallel Transaction Recovery When Parallel Txn Recovery is Active
Dynamically switch from parallel recovery to serial. If you are in a clusteredenvironment you will need to do this on all instances at the same time:Find SMON’s Oracle PID:Example:SQL> selec...
2018-12-11 16:33:44
156
原创 Troubleshooting Database Transaction Recovery
ConceptsTransaction recovery involves rolling back all uncommitted transactions of a failed instance. These are “in-progress” transactions that did not commit and that Oracle needs to undo. It is pos...
2018-12-11 16:11:51
139
原创 mysql用户与权限管理
查看存在哪些用户mysql> select user,host from mysql.user;±-----±----------+| user | host |±-----±----------+| ducc | % || rep | % || chen | localhost || ducc | localhost || ro...
2018-12-11 10:34:03
200
原创 oracle 11G静默安装
今天玩下静默安装（简）系统要求：编辑/etc/sysctl.conffs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmall = physical RAM size / pagesize For most systems, this will be the value 2097152.-------------需要计算 一般...
2018-11-22 14:56:42
152
原创 MongoDB的高可用性-Replica Set
mongoDB目前已不推荐使用主从模式，取而代之的是副本集模式。副本集其实一种互为主从的关系，可理解为主主。副本集指将数据复制，多份保存，不同服务器保存同一份数据，在出现故障时自动切换。对应的是数据冗余、备份、镜像、读写分离、高可用性等关键词；分片则指为处理大量数据，将数据分开存储，不同服务器保存不同的数据，它们的数据总和即为整个数据集。追求的是高性能。建立副本集(Replica Set)来...
2018-11-16 15:24:27
460
原创 MongoDB的高可用性-主从复制
主从复制是MongoDB最常用的复制方式,也是一个简单的数据库同步备份的集群技术,这种方式很灵活.可用于备份,故障恢复,读扩展等. 最基本的设置方式就是建立一个主节点和一个或多个从节点,每个从节点要知道主节点的地址。采用双机备份后主节点挂掉了后从节点可以接替主机继续服务。所以这种模式比单节点的高可用性要好很多。配置主从复制的注意点1）在数据库集群中要明确的知道谁是主服务器,主服务器只...
2018-11-14 16:25:10
283
原创 MongoDB的备份恢复
备份：语法：mongodump -h dbhost -d dbname -o dbdirectory参数说明：-h： MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017-d： 需要备份的数据库实例，例如：test-o： 备份的数据存放位置，例如：/home/mongodump/，当然该目录需要提前建立，这个目录里面存放该数据库实例...
2018-11-14 16:14:52
148
原创 MongoDB的导出导入
导出：mongoDB中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。可以通过参数指定导出的数据项，也可以根据指定的条件导出数据。参数说明：-d ：数据库名-c ：collection名-o ：输出的文件名–type ： 输出的格式，默认为json-f ：输出的字段，如果-type为csv，则需要加上-f “字段名”例如：./mong...
2018-11-14 16:12:47
98
原创 MongoDB安装及常用配置
tar -xvzf mongodb-linux-x86_64-3.2.10.tgzmv mongodb-linux-x86_64-3.2.10 /usr/local/mongodbcd /usr/local/mongodb/mkdir -p /data/db (数据文件存放目录)注：如果数据目录不是/data/db 那么可以手动指定目录启动MongoDB有2种方式./bin/mo...
2018-11-14 16:09:28
125
原创 hdfs shell
命令：hdfs dfs -ls hdfs://hadoop01:9000/userhdfs dfs -ls /user-ls -ls <路径> 查看指定路径的当前目录结构-lsr -lsr <路径> 递归查看指定路径的目录结构-du -du <路径> 统计目录下个文件大小-dus -dus <路径> 汇总统计目录下文件...
2018-11-14 14:49:47
132
原创 hdfs回收站机制
1.在 core-site.xml 中添加： <property> <name>fs.trash.interval</name> <value>4320</value> </property>fs.trash.interval参数的含义：Number of minutes after whi...
2018-11-13 15:17:22
271
原创 sqoop:oracle import to hdfs
spool 方式导出成文本，上传hadoop服务器然后进行load datasqoop import –connect jdbc:oracle:thin:@oracle:1521:orac–username chen –password chen -m 1 –table TEST连接方式：–connect jdbc:oracle:thin:@OracleServer:...
2018-11-09 10:25:44
212
原创 sqoop:mysql import to hive
导入hdfs 然后进行load dataimport to hivesqoop import –connect jdbc:mysql://localhost:3306/chen –username root –password 123 –table test –delete-target-dir –hive-import –hive-table test导入分区表...
2018-11-09 10:18:50
209
原创 sqoop:mysql import to hdfs
sqoop import –connect jdbc:mysql://localhost:3306/chen –username root –password 123 –table test报错：Exception in thread “main” java.lang.NoClassDefFoundError: org/json/JSONObjectat org.apache.sqo...
2018-11-09 10:15:54
295
原创 SQOOP 安装
1）下载 cdh2）解压到~/app下3）SQOOP_HOMEexport SQOOP_HOME=/home/hadoop/app/sqoop-1.4.6-cdh5.7.0export PATH=$SQOOP_HOME/bin:$PATH4）conf： $SQOOP_HOME/conf/sqoop-env.shexport HADOOP_COMMON_HOME=/home/hado...
2018-11-08 16:13:37
126
原创 Hive 内部表和外部表的区别
hive (hive)> desc formatted ruoze_emp;OKcol_name data_type commentempno intename stringjob stringmgr ...
2018-11-08 16:11:12
190
原创 Hive 分区表
制造数据：for i in (seq50)doecho−e&amp;quot;(seq 50)do echo -e &amp;quot;(seq50)doecho−e"(date -d “$RANDOM minute ago” +%F’ ‘%T’.’%N)"done|sort -nk1|awk ‘{print NR"\t"$0}’&gt;/tmp/order_cre
2018-11-08 15:58:10
116
1
原创 Hive-cdh 安装
下载hive 软件下载：http://archive-primary.cloudera.com/cdh5/cdh/5/ 在使用CDH版本的时候一定要注意：尾巴对准了wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz解压：tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz...
2018-11-08 15:24:25
514
原创 hdfs的pid文件概述
cat hadoop-env.shexport HADOOP_PID_DIR=HADOOPPIDDIRexportHADOOPSECUREDNPIDDIR={HADOOP_PID_DIR}export HADOOP_SECURE_DN_PID_DIR=HADOOPPIDDIRexportHADOOPSECUREDNPIDDIR={HADOOP_PID_DIR}默认的hadoop...
2018-10-22 14:48:17
285
原创 jps命令
hadoop@abp-oggdb-002:/home/hadoop/app/hadoop>which jps/usr/java/jdk1.7.0_80/bin/jps所以此命令是有java而来，显示的是java程序不同用户呈现的不同结果：hadoop@abp-oggdb-002:/home/hadoop/app/hadoop>jps73245 NameNode...
2018-09-28 14:41:35
189
原创 hdfs进程启动 all on hostname
hdfs进程启动 all on hostname默认启动方式：[hadoop@hadoop01 sbin]$ ./start-dfs.shStarting namenodes on [hadoop01]hadoop01: starting namenode, logging to /home/hadoop/app/hadoop/logs/hadoop-hadoop-namenode-had...
2018-09-28 10:41:48
115
原创 ssh配置互信
配置过程登录服务器Arm -rf ~/.ssh建立ssh相关目录: &amp;nbsp;mkdir &amp;nbsp;~/.ssh设置ssh的权限： &amp;nbsp; chmod 700 ~/.ssh生成RSA公钥ssh-keygen -t rsa &amp;nbsp; &amp;nbsp; （请一直回车，直至提示结束[root@test .ssh]# ssh-keygen -t r
2018-09-28 10:17:23
151
原创 hadoop-2.6.0-cdh5.7.0 YARN 伪分布式安装
YARN on Single NodeYou can run a MapReduce job on YARN in a pseudo-distributed mode by setting a few parameters and running ResourceManager daemonand NodeManager daemon in addition.注意：首先必须在hdfs成功安装...
2018-09-27 16:02:30
208
原创 hadoop-2.6.0-cdh5.7.0 HDFS 伪分布式安装
查看官方文档相关要求：http://archive.cloudera.com/ 搜索需要的版本 如果需要下载加上 .tar.gz 就可以Required software for Linux include:Java™ must be installed. Recommended Java versions are described at HadoopJavaVersions.ssh...
2018-09-21 09:52:24
227
原创 mysql5.6 二进制安装
解压mysql软件包tar zxvf mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz -C /usr/localcd /usr/localmv mysql-5.6.23-linux-glibc2.5-x86_64/ mysql新建mysql 管理用户groupadd -g 101 dbauseradd -u 514 -g dba -G roo...
2018-09-18 15:19:11
633
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人