自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

我思,故我在!--My data life

生命在于运动,知识在于积累。

  • 博客(385)
  • 资源 (6)
  • 收藏
  • 关注

原创 PRVF-0002 : 无法检索本地节点名

在安装GI(Grid Infrastruct)时报下面的错[root@single soft]# cd grid[root@single grid]# export DISPLAY=10.1.5.240:0.0[root@single grid]# ./runInstaller 解决办法:修改/etc/hosts文件[root@single grid]#

2014-04-15 22:42:05 19863 1

转载 初始化参数之memory_target

一、引言:    Oracle 9i引入pga_aggregate_target,可以自动对PGA进行调整;    Oracle 10g引入sga_target,可以自动对SGA进行调整;    Oracle 11g则对这两部分进行综合,引入memory_target,可以自动调整所有的内存,这就是新引入的自动内存管理特性。二、本文说明:      操作系统:rhel 5.4

2014-03-28 22:50:40 1753

原创 如何知道ASM磁盘组由哪些物理磁盘组成

我们知道用下面的方法可创建 ASM 磁盘,然后再创建逻辑的ASM磁盘组。以 root 用户身份创建 ASM 磁盘。# /etc/init.d/oracleasm createdisk VOL1 /dev/sdc1Marking disk "/dev/sdc1" as an ASM disk:                   [  OK  ]# /etc/init.d/ora

2014-03-17 10:37:44 5381 1

转载 使用HASH技术进行排重优化的案例

create table test_key(pk varchar(32),         key1 varchar(20),        key2 varchar(20),         key3 varchar(20),         key4 varchar(20),         key5 varchar(20),         key6 varchar(20),    

2014-03-12 10:42:53 1388

转载 linux大内存页 HugePages on Linux

HugePages on Linux  HugePages是linux内核的一个特性,使用hugepage可以用更大的内存页来取代传统的4K页面。使用HugePage主要带来如下好处   1,没有swap。Notswappable: HugePages are not swappable. Therefore there is no page-in/page-outmechanis

2014-02-28 11:20:02 1571

原创 Oracle 11g 新聚集函数listagg实现列转行

这是一个Oracle的列转行函数:LISTAGG() 示例代码:with temp as( select 'China' nation ,'Guangzhou' city from dual union all select 'China' nation ,'Shanghai' city from dual union all select 'China'

2014-02-27 16:22:28 6982 1

转载 如何在Hadoop中控制Map的数量

很多文档中描述,Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input占据了多少block,就应该启动多少个Mapper。如果输入的文件数量巨大,但是每个文件的size都小于HDFS的blockSize,那么会造成启动的Mapper等于文件的数量(即每个文件都占据了一个block),那么很可能造成启动的Mapper数量超出限制而导

2014-02-22 21:08:24 1284

转载 Hive深入浅出

Hive是什么1) Hive是什么?这里引用 Hive wiki 上的介绍:Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put structures on th

2014-02-21 15:01:36 1441

原创 hive函数参考手册

原文见:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败,因为无效的语

2014-02-18 13:45:08 1464

原创 Hive日期格式转换用法

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定时间的秒数)到当前时区的时间格式举例:hive> select from_unixtime(1323308943,'

2014-02-18 13:32:07 160283 1

转载 Hive与数据库的异同

摘要:由于Hive采用了SQL的查询语言HQL,因此很容易将Hive理解为数据库。其实 从结构上来看,Hive和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据由于Hive采用了SQL的查询语言HQL,因此很容易将Hive理解为数据库。其实 从结构上来看,Hive和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述Hive和

2014-02-17 15:21:18 1427

原创 hive学习笔记之-使用Sqoop把Oracle表导入Hive

安装环境:Hive: hive-0.11.0Hadoop: Hadoop 1.2.1Sqoop: sqoop-1.4.4.bin__hadoop-1.0.0Oralce driver: ojdbc6.jar软件下载:Hive: http://apache.dataguru.cn/hive/Hadoop: http://apache.dataguru.cn/had

2014-02-14 17:26:31 14078 2

原创 Sqoop使用和简介

Sqoop 工具是hadoop环境下连接关系数据库,和hadoop存储系统的桥梁,支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下,关系数据表存在于线上环境的备份环境,需要每天进行数据导入,根据每天的数据量而言,sqoop可以全表导入,对于每天产生的数据量不是很大的情形可以全表导入,但是sqoop也提供了增量数据导入的机制。下面介绍几个常用的sqoop的命令,以及一些参

2014-02-14 17:10:39 7716

原创 Hadoop 添加数据节点(datanode)

前提条件:安装jdk-6u18 实现目的:在hadoop集群中添加一个新增数据节点。  1. 创建目录和用户mkdir /app/hadoopusergroup hadoopuseradd licz -ghadoop -d /app/hadoopchownlicz:hadoop /app/hadoop 2. 修改环境变量[licz@serve

2014-02-12 14:46:12 20102

原创 hadoop学习笔记-生产环境hadoop集群安装

生产环境Hadoop大集群完全分布式模式安装2013-3-7 安装环境操作平台:vmware2操作系统:Oracle Enterprise Linux 5.6软件版本:hadoop-0.22.0,jdk-6u18集群架构:3+ node,master node(hotel01),slave node(hotel02,hotel03…)主机名

2014-02-12 09:42:21 1974

原创 hive学习笔记之--hive index

Hive中可以创建Index。 索引是标准的数据库技术,hive 0.7版本之后支持索引。hive索引采用的不是'one size fites all'的索引实现方式,而是提供插入式接口,并且提供一个具体的索引实现作为参考。hive索引具有以下特点:1.索引key冗余存储,提供基于key的数据视图2.存储设计以优化查询&检索性能3.对于某些查询减少IO,从而提高性能。

2014-02-10 16:00:12 3833

转载 Hive学习笔记之--Hive 高级编程

第一部分:产生背景产生背景为了满足客户个性化的需求,Hive被设计成一个很开放的系统,很多内容都支持用户定制,包括:•文件格式:Text File,Sequence File•内存中的数据格式: Java Integer/String, Hadoop  IntWritable/Text•用户提供的 map/reduce 脚本:不管什么语言,利用 stdin/

2014-02-07 14:59:56 6893

原创 hive学习笔记之-数据操作

1. 导入数据到管理表因为Hive不支持事务,所以没有行级别的insert,update,delete操作,仅支持使用加载的方式把数据导入到表中。 --加载数据到分区表的例子LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTOTABLE employeesPARTITION(count

2014-01-27 16:52:46 13541

原创 hive学习笔记之-数据定义

1. 数据库定义及操作--创建数据库hive(default)> SET hive.cli.print.current.db=false;hive> CREATEDATABASE financials; --创建库时加判断语句hive> CREATEDATABASE if not exists financials; --也可以使用关键字schames 代替data

2014-01-26 15:41:06 17197

翻译 Hive 并发模型

使用案例并发支持 (http://issues.apache.org/jira/browse/HIVE-1293) 是数据库的必须,而且他们的使用案例很好懂。至少,我们要尽可能支持并发读和写。添加几个发现当前已经锁定的锁,是有用的。这里没有一个直接的需求添加一个API显式获取锁,所以,所有锁都是隐式获取的。hive定义一下模式的锁(注意不需要意向锁)共享 (S)排他 (X)

2014-01-26 15:04:26 1980

原创 mysql示例employees数据库

ORACLE安装是附带安装employees数据,供练习sql使用。MySQL同样提供了employees数据库,但并未随数据库一起安装,其下载链接也极其隐蔽,可能导致许多人没注意到。   下载地址:https://launchpad.net/test-db/employees-db-1/1.0.6 建议大家下载:employees_db-full-1.0.6.tar.bz2,解压缩,进入

2014-01-24 14:49:59 4098

原创 ERROR 1 (HY000): Can't create/write to file'/' (Errcode: 13)错误解决

错误现象:mysql> select 'sz',code,time,openprice,HighPrice,LowPrice,CurPrice,TotalAmount,LastClosePrice     -> into outfile '/app/hadoop/data/stocks/sz000001.txt'     -> fields terminated by ','

2014-01-24 14:07:24 15589

原创 hive学习笔记之-数据类型

数据类型Hive基本的数据类型:  Hive集合数据类型:另外还有一个复合数据类型,可以综合上面的数据类型组合到一起。·          union: UNIONTYPE  类型说明时间戳 支持传统的unix时间戳,可选的纳秒级精度。 支持的转换:   l        整型数值类型:解读为以秒为单位的UNIX时

2014-01-23 14:14:21 17886

原创 用Maven构建Hadoop项目

Hadoop的MapReduce环境是一个复杂的编程环境,所以我们要尽可能地简化构建MapReduce项目的过程。Maven是一个很不错的自动化项目构建工具,通过Maven来帮助我们从复杂的环境配置中解脱出来,从而标准化开发过程。所以,写MapReduce之前,让我们先花点时间把刀磨快!!当然,除了Maven还有其他的选择Gradle(推荐), Ivy等 1. Maven介绍Apach

2014-01-17 16:10:39 16389 5

原创 mapreduce实现推荐系统

1.开发环境:Windows2008 64bitJava 1.6.0_30MyEclipse 6.5环境部署见:http://blog.csdn.net/lichangzai/article/details/173105232.Hadoop集群环境:Oracle Linux Enterprise 5.9Java 1.6.0_18Hadoop:

2014-01-08 23:38:28 2921 1

原创 多路径(multi-path)安装测试实例

1.确保安装以下的包:device-mapper             device-mapper-multipath   [root@nticket1~]# rpm -qa "*device*"device-mapper-multipath-0.4.9-56.0.3.el5device-mapper-multipath-libs-0.4.9-56.0.3.el5de

2013-12-23 11:06:02 9794

转载 Linux Device Mapper Multipathing技术

Linux Device Mapper Multipathing技术在SAN存储网络中,冗余地访问存储设备是整个系统的关键技术之一,在Linux平台,开源的解决方案之一是DM-Multipath。Device Mapper Multipathing ( DM-Multipath )允许在服务器节点和存储阵列之间配置多个I/O路径但仍视为一个单一存储设备。这些I/O路径是物理SAN连接,可以

2013-12-23 10:52:12 5841

原创 HiveQL 常用操作

HiveQL 常用操作1.  创建表Create Tabledept (deptno Int,dname String) Row format delimited fields terminated By'\t';Create Table emp (empno Int,enameString,mgr Int,sal Float,deptno Int) Row format

2013-12-19 16:28:44 17188

原创 eclipse配置hadoop mapreduce开发环境

环境:Eclipse版本:MyEclipse6.5.1Hadoop版本:hadoop-1.2.11.安装MyEclipse后,创建一个java项目File->New->Java Project输入项目名称,确定2.导入hadoop所有包解压hadoop-1.2.1.tar(E:\software\share\hadoop-1.2.1)把E:\so

2013-12-13 23:44:06 5836

原创 linux用dd测试磁盘速度

首先要了解两个特殊的设备:/dev/null:回收站、无底洞/dev/zero:产生字符 1 测试磁盘写能力time dd if=/dev/zero of=/test.dbf bs=8k count=300000因为/dev//zero是一个伪设备,它只产生空字符流,对它不会产生IO,所以,IO都会集中在of文件中,of文件只用于写,所以这个命令相当于测试磁盘的写能力。

2013-11-18 10:59:18 1157

原创 MySql安装(rpm)和启动配置

MySql安装(rpm)和启动配置安装环境:OS:Oracle Linux 5.9 安装步骤:1.解压MySql安装包[root@bakdbserver mysql]# tar -xf MySQL-5.5.24-1.rhel5.x86_64.tar[root@bakdbserver mysql]# ll总计 373920-rw-r--r-- 1 root r

2013-08-23 17:50:19 2603

原创 Oracle 监控索引使用

Oracle提供一个监控索引的方法,来确定索引是否被使用。如果索引没有被使用,就可以删除它们以减少不必要的语句的开销。因为表上的大量不必要的索引可能会降低DML语句的性能,给数据库性能产生压力。所以生产环境上,以根据业务增长情况定期监控、分析数据库索引的使用,特别是一些大表上的索引,提升数据库事务提交的性能。 --查看表上的索引SQL> Selectindex_name,table_n

2013-08-20 15:22:13 1485

原创 mysql时间查询

描述:有一个会员表,有个birthday字段,值为'YYYY-MM-DD'格式,现在要查询一个时间段内过生日的会员,比如'06-03'到'07-08'这个时间段内所有过生日的会员。SQL语句: Select * From user Where DATE_FORMAT(birthday,'%m-%d') >= '06-03' and DATE_FORMAT(birthday,'%m-%d') <

2013-08-20 10:59:51 1183

原创 oracle set命令小结

常用set小节     在写脚本的时候,往往需要对输出的格式进行规范,我们常常用set语句在设置一些需要的格式规范。下面,列举了几个常用的set,和他们的应用。SQL> set linesize 80;       //输出一行字符个数,缺省为80SQL> set numwidth 12;     //输出number类型域长度,缺省为1SQL> set verify of

2013-08-16 14:02:14 3710

原创 Oracle官方文档

Oracle12cR1官方文档:http://www.oracle.com/pls/db121/homepageOracle11gR2官方文档:http://www.oracle.com/pls/db112/homepageOracle10gR2官方文档:http://www.oracle.com/pls/db102/homepage

2013-08-15 15:01:01 1124

原创 python学习笔记之--os.walk使用

os.walk使用:os.walk()返回一个三元素的tuple:当前路径、子文件夹名称、文件列表。 实例功能:何遍历指定目录下的所有文件>>> import os>>> def fun(path):for root,dirs,file in os.walk(path):  for fn in file:   print root+'\\'+fn  

2013-08-09 11:51:11 1464

原创 Python学习笔记--help命令使用

--登录python[root@bakdbserver ~]# pythonPython 2.7.5 (default, Aug  7 2013, 21:50:17) [GCC 4.1.2 20080704 (Red Hat 4.1.2-54)] on linux2Type "help", "copyright", "credits" or "license" for more i

2013-08-08 17:13:36 10704 1

原创 创建主键时报错:ERROR 1075 (42000): Incorrect table definition; there can be only one auto column and it mus

今天在创建有联合主建的表时,出现下面的错误:ERROR 1075 (42000): Incorrect table definition; there can be only one auto column and it must be defined as a key mysql> CREATE TABLE animals1 (    ->     grp ENUM('fish'

2013-08-06 10:59:54 27046 1

原创 远程访问mysql服务器的方法

如果你想远程连接你的mysql的时候发生这个错误:ERROR 1130: Host '192.168.1.3' is not allowed to connect to this MySQL server这是因为没有设置远程访问mysql数据库服务器的权限。 解决方法:1. 改表法。可能是你的帐号不允许从远程登陆,只能在localhost。这个时候只要在localhost的

2013-08-05 11:28:49 1319

原创 通过GC创建dataguard备库失败一则

问题描述:因为业务增长需求,需要在原来dataguard环境(一主两备)的基础上,新增一备库。但通过grid control创建备库时失败,由于主库数据文件有100G左右,备份恢复到从库要半小时间左右(千兆网,50M/s)。 现象:创建备库的作业失败 在主节点查看rman恢复日志,可用下面命令查看rman运行作业的日志ps –ef|grep rman会在/t

2013-07-26 10:25:18 4534

10gRAC ASM学习

10gRAC_ASM_aix.pdf 学习文档

2011-05-18

oracle rac

RAC and ASM\AIX 5.3+HACMP+RAC安.doc

2011-05-18

oracle传输表空间实例.doc

oracle传输表空间实例,举例说明传输表空间的使用方法

2009-04-22

oracle常用傻瓜问题1000问

oracle常用傻瓜问题1000问

2008-03-06

Oracle性能优化

Oracle SQL性能优化

2008-03-06

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除