- 博客(385)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 PRVF-0002 : 无法检索本地节点名
在安装GI(Grid Infrastruct)时报下面的错[root@single soft]# cd grid[root@single grid]# export DISPLAY=10.1.5.240:0.0[root@single grid]# ./runInstaller 解决办法：修改/etc/hosts文件[root@single grid]#
2014-04-15 22:42:05
19863
1
转载 初始化参数之memory_target
一、引言： Oracle 9i引入pga_aggregate_target，可以自动对PGA进行调整； Oracle 10g引入sga_target，可以自动对SGA进行调整； Oracle 11g则对这两部分进行综合，引入memory_target，可以自动调整所有的内存，这就是新引入的自动内存管理特性。二、本文说明： 操作系统：rhel 5.4
2014-03-28 22:50:40
1753
原创 如何知道ASM磁盘组由哪些物理磁盘组成
我们知道用下面的方法可创建 ASM 磁盘，然后再创建逻辑的ASM磁盘组。以 root 用户身份创建 ASM 磁盘。# /etc/init.d/oracleasm createdisk VOL1 /dev/sdc1Marking disk "/dev/sdc1" as an ASM disk: [ OK ]# /etc/init.d/ora
2014-03-17 10:37:44
5381
1
转载 使用HASH技术进行排重优化的案例
create table test_key(pk varchar(32), key1 varchar(20), key2 varchar(20), key3 varchar(20), key4 varchar(20), key5 varchar(20), key6 varchar(20),
2014-03-12 10:42:53
1388
转载 linux大内存页 HugePages on Linux
HugePages on Linux HugePages是linux内核的一个特性，使用hugepage可以用更大的内存页来取代传统的4K页面。使用HugePage主要带来如下好处 1，没有swap。Notswappable: HugePages are not swappable. Therefore there is no page-in/page-outmechanis
2014-02-28 11:20:02
1571
原创 Oracle 11g 新聚集函数listagg实现列转行
这是一个Oracle的列转行函数：LISTAGG() 示例代码：with temp as( select 'China' nation ,'Guangzhou' city from dual union all select 'China' nation ,'Shanghai' city from dual union all select 'China'
2014-02-27 16:22:28
6982
1
转载 如何在Hadoop中控制Map的数量
很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSize，那么会造成启动的Mapper等于文件的数量（即每个文件都占据了一个block），那么很可能造成启动的Mapper数量超出限制而导
2014-02-22 21:08:24
1284
转载 Hive深入浅出
Hive是什么1) Hive是什么？这里引用 Hive wiki 上的介绍：Hive is a data warehouse infrastructure built on top of Hadoop. It provides tools to enable easy data ETL, a mechanism to put structures on th
2014-02-21 15:01:36
1441
原创 hive函数参考手册
原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说明A = B所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B无失败，因为无效的语
2014-02-18 13:45:08
1464
原创 Hive日期格式转换用法
1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323308943,'
2014-02-18 13:32:07
160283
1
转载 Hive与数据库的异同
摘要：由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实 从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述Hive和数据库的差异。数据由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实 从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。本文将从多个方面来阐述Hive和
2014-02-17 15:21:18
1427
原创 hive学习笔记之-使用Sqoop把Oracle表导入Hive
安装环境：Hive: hive-0.11.0Hadoop: Hadoop 1.2.1Sqoop: sqoop-1.4.4.bin__hadoop-1.0.0Oralce driver: ojdbc6.jar软件下载：Hive: http://apache.dataguru.cn/hive/Hadoop: http://apache.dataguru.cn/had
2014-02-14 17:26:31
14078
2
原创 Sqoop使用和简介
Sqoop 工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于每天产生的数据量不是很大的情形可以全表导入，但是sqoop也提供了增量数据导入的机制。下面介绍几个常用的sqoop的命令，以及一些参
2014-02-14 17:10:39
7716
原创 Hadoop 添加数据节点（datanode）
前提条件：安装jdk-6u18 实现目的：在hadoop集群中添加一个新增数据节点。 1. 创建目录和用户mkdir /app/hadoopusergroup hadoopuseradd licz -ghadoop -d /app/hadoopchownlicz:hadoop /app/hadoop 2. 修改环境变量[licz@serve
2014-02-12 14:46:12
20102
原创 hadoop学习笔记-生产环境hadoop集群安装
生产环境Hadoop大集群完全分布式模式安装2013-3-7 安装环境操作平台：vmware2操作系统：Oracle Enterprise Linux 5.6软件版本：hadoop-0.22.0,jdk-6u18集群架构：3+ node，master node(hotel01),slave node(hotel02,hotel03…)主机名
2014-02-12 09:42:21
1974
原创 hive学习笔记之--hive index
Hive中可以创建Index。 索引是标准的数据库技术，hive 0.7版本之后支持索引。hive索引采用的不是'one size fites all'的索引实现方式，而是提供插入式接口，并且提供一个具体的索引实现作为参考。hive索引具有以下特点：1.索引key冗余存储，提供基于key的数据视图2.存储设计以优化查询&检索性能3.对于某些查询减少IO，从而提高性能。
2014-02-10 16:00:12
3833
转载 Hive学习笔记之--Hive 高级编程
第一部分：产生背景产生背景为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：Text File，Sequence File•内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text•用户提供的 map/reduce 脚本：不管什么语言，利用 stdin/
2014-02-07 14:59:56
6893
原创 hive学习笔记之-数据操作
1. 导入数据到管理表因为Hive不支持事务，所以没有行级别的insert,update,delete操作，仅支持使用加载的方式把数据导入到表中。 --加载数据到分区表的例子LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTOTABLE employeesPARTITION(count
2014-01-27 16:52:46
13541
原创 hive学习笔记之-数据定义
1. 数据库定义及操作--创建数据库hive(default)> SET hive.cli.print.current.db=false;hive> CREATEDATABASE financials; --创建库时加判断语句hive> CREATEDATABASE if not exists financials; --也可以使用关键字schames 代替data
2014-01-26 15:41:06
17197
翻译 Hive 并发模型
使用案例并发支持 (http://issues.apache.org/jira/browse/HIVE-1293) 是数据库的必须,而且他们的使用案例很好懂。至少，我们要尽可能支持并发读和写。添加几个发现当前已经锁定的锁，是有用的。这里没有一个直接的需求添加一个API显式获取锁，所以，所有锁都是隐式获取的。hive定义一下模式的锁(注意不需要意向锁)共享 (S)排他 (X)
2014-01-26 15:04:26
1980
原创 mysql示例employees数据库
ORACLE安装是附带安装employees数据，供练习sql使用。MySQL同样提供了employees数据库，但并未随数据库一起安装，其下载链接也极其隐蔽，可能导致许多人没注意到。 下载地址：https://launchpad.net/test-db/employees-db-1/1.0.6 建议大家下载：employees_db-full-1.0.6.tar.bz2，解压缩，进入
2014-01-24 14:49:59
4098
原创 ERROR 1 (HY000): Can't create/write to file'/' (Errcode: 13)错误解决
错误现象：mysql> select 'sz',code,time,openprice,HighPrice,LowPrice,CurPrice,TotalAmount,LastClosePrice -> into outfile '/app/hadoop/data/stocks/sz000001.txt' -> fields terminated by ','
2014-01-24 14:07:24
15589
原创 hive学习笔记之-数据类型
数据类型Hive基本的数据类型： Hive集合数据类型：另外还有一个复合数据类型，可以综合上面的数据类型组合到一起。· union: UNIONTYPE 类型说明时间戳 支持传统的unix时间戳,可选的纳秒级精度。 支持的转换: l 整型数值类型：解读为以秒为单位的UNIX时
2014-01-23 14:14:21
17886
原创 用Maven构建Hadoop项目
Hadoop的MapReduce环境是一个复杂的编程环境，所以我们要尽可能地简化构建MapReduce项目的过程。Maven是一个很不错的自动化项目构建工具，通过Maven来帮助我们从复杂的环境配置中解脱出来，从而标准化开发过程。所以，写MapReduce之前，让我们先花点时间把刀磨快！！当然，除了Maven还有其他的选择Gradle(推荐), Ivy等 1. Maven介绍Apach
2014-01-17 16:10:39
16389
5
原创 mapreduce实现推荐系统
1.开发环境：Windows2008 64bitJava 1.6.0_30MyEclipse 6.5环境部署见：http://blog.csdn.net/lichangzai/article/details/173105232.Hadoop集群环境：Oracle Linux Enterprise 5.9Java 1.6.0_18Hadoop:
2014-01-08 23:38:28
2921
1
原创 多路径（multi-path）安装测试实例
1.确保安装以下的包：device-mapper device-mapper-multipath [root@nticket1~]# rpm -qa "*device*"device-mapper-multipath-0.4.9-56.0.3.el5device-mapper-multipath-libs-0.4.9-56.0.3.el5de
2013-12-23 11:06:02
9794
转载 Linux Device Mapper Multipathing技术
Linux Device Mapper Multipathing技术在SAN存储网络中，冗余地访问存储设备是整个系统的关键技术之一，在Linux平台，开源的解决方案之一是DM-Multipath。Device Mapper Multipathing ( DM-Multipath )允许在服务器节点和存储阵列之间配置多个I/O路径但仍视为一个单一存储设备。这些I/O路径是物理SAN连接，可以
2013-12-23 10:52:12
5841
原创 HiveQL 常用操作
HiveQL 常用操作1. 创建表Create Tabledept (deptno Int,dname String) Row format delimited fields terminated By'\t';Create Table emp (empno Int,enameString,mgr Int,sal Float,deptno Int) Row format
2013-12-19 16:28:44
17188
原创 eclipse配置hadoop mapreduce开发环境
环境：Eclipse版本：MyEclipse6.5.1Hadoop版本：hadoop-1.2.11.安装MyEclipse后，创建一个java项目File->New->Java Project输入项目名称，确定2.导入hadoop所有包解压hadoop-1.2.1.tar（E:\software\share\hadoop-1.2.1）把E:\so
2013-12-13 23:44:06
5836
原创 linux用dd测试磁盘速度
首先要了解两个特殊的设备：/dev/null：回收站、无底洞/dev/zero：产生字符 1 测试磁盘写能力time dd if=/dev/zero of=/test.dbf bs=8k count=300000因为/dev//zero是一个伪设备，它只产生空字符流，对它不会产生IO，所以，IO都会集中在of文件中，of文件只用于写，所以这个命令相当于测试磁盘的写能力。
2013-11-18 10:59:18
1157
原创 MySql安装（rpm）和启动配置
MySql安装（rpm）和启动配置安装环境：OS：Oracle Linux 5.9 安装步骤：1.解压MySql安装包[root@bakdbserver mysql]# tar -xf MySQL-5.5.24-1.rhel5.x86_64.tar[root@bakdbserver mysql]# ll总计 373920-rw-r--r-- 1 root r
2013-08-23 17:50:19
2603
原创 Oracle 监控索引使用
Oracle提供一个监控索引的方法，来确定索引是否被使用。如果索引没有被使用，就可以删除它们以减少不必要的语句的开销。因为表上的大量不必要的索引可能会降低DML语句的性能，给数据库性能产生压力。所以生产环境上，以根据业务增长情况定期监控、分析数据库索引的使用，特别是一些大表上的索引，提升数据库事务提交的性能。 --查看表上的索引SQL> Selectindex_name,table_n
2013-08-20 15:22:13
1485
原创 mysql时间查询
描述：有一个会员表，有个birthday字段，值为'YYYY-MM-DD'格式，现在要查询一个时间段内过生日的会员，比如'06-03'到'07-08'这个时间段内所有过生日的会员。SQL语句： Select * From user Where DATE_FORMAT(birthday,'%m-%d') >= '06-03' and DATE_FORMAT(birthday,'%m-%d') <
2013-08-20 10:59:51
1183
原创 oracle set命令小结
常用set小节 在写脚本的时候，往往需要对输出的格式进行规范，我们常常用set语句在设置一些需要的格式规范。下面，列举了几个常用的set，和他们的应用。SQL> set linesize 80; //输出一行字符个数，缺省为80SQL> set numwidth 12; //输出number类型域长度，缺省为1SQL> set verify of
2013-08-16 14:02:14
3710
原创 Oracle官方文档
Oracle12cR1官方文档：http://www.oracle.com/pls/db121/homepageOracle11gR2官方文档：http://www.oracle.com/pls/db112/homepageOracle10gR2官方文档：http://www.oracle.com/pls/db102/homepage
2013-08-15 15:01:01
1124
原创 python学习笔记之--os.walk使用
os.walk使用:os.walk()返回一个三元素的tuple：当前路径、子文件夹名称、文件列表。 实例功能：何遍历指定目录下的所有文件>>> import os>>> def fun(path):for root,dirs,file in os.walk(path): for fn in file: print root+'\\'+fn
2013-08-09 11:51:11
1464
原创 Python学习笔记--help命令使用
--登录python[root@bakdbserver ~]# pythonPython 2.7.5 (default, Aug 7 2013, 21:50:17) [GCC 4.1.2 20080704 (Red Hat 4.1.2-54)] on linux2Type "help", "copyright", "credits" or "license" for more i
2013-08-08 17:13:36
10704
1
原创 创建主键时报错：ERROR 1075 (42000): Incorrect table definition; there can be only one auto column and it mus
今天在创建有联合主建的表时，出现下面的错误：ERROR 1075 (42000): Incorrect table definition; there can be only one auto column and it must be defined as a key mysql> CREATE TABLE animals1 ( -> grp ENUM('fish'
2013-08-06 10:59:54
27046
1
原创 远程访问mysql服务器的方法
如果你想远程连接你的mysql的时候发生这个错误：ERROR 1130: Host '192.168.1.3' is not allowed to connect to this MySQL server这是因为没有设置远程访问mysql数据库服务器的权限。 解决方法：1. 改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的
2013-08-05 11:28:49
1319
原创 通过GC创建dataguard备库失败一则
问题描述：因为业务增长需求，需要在原来dataguard环境（一主两备）的基础上，新增一备库。但通过grid control创建备库时失败，由于主库数据文件有100G左右，备份恢复到从库要半小时间左右（千兆网，50M/s）。 现象：创建备库的作业失败 在主节点查看rman恢复日志，可用下面命令查看rman运行作业的日志ps –ef|grep rman会在/t
2013-07-26 10:25:18
4534
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人