hadoop学习之-应用ODCH工具实现oralce外部表访问HDFS数据文件

最新推荐文章于 2023-02-17 14:03:01 发布
最新推荐文章于 2023-02-17 14:03:01 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 大数据开发
hadoop学习之-使用ODCH工具实现oralce外部表访问HDFS数据文件

实验说明：

本实验目的是通过使用Oracle的HDFS直接连接器从oracle数据库的外部表中直接访问HDFS的数据文件。支持的数据文件格式取决于ORACLE_LOADER的驱动程序。

 

一、   安装准备

1.       软件下载：

Oracle Big Data Connectors：ODCH

http://www.oracle.com/technetwork/bdc/big-data-connectors/downloads/index.html

Jave SE 下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk6u38-downloads-1877406.html

 

Oracle11g下载地址：

http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html

 

Oracle Enterprise Linux下载地址：需要注册oracle帐号才能下载

https://edelivery.oracle.com/linux

 

 

2.       安装环境

软件版本：

OS：Oracle Enterprise Linux 5.6

Oracle DB：Oracle 11.2.0.2

Jave SE：jdk1.6.0_18

ODCH：Oracle SQL Connector for Hadoop Distributed File System Release 2.0 for Linux

Hadoop：hadoop-0.20.2

 

Hadoop\Oracle架构：

 

 

 

 

主机名

IP

系统版本

Oracle node

Hadoop node

hadoop进程名

gc

192.168.2.100

OEL5.6

Oracle11.2.0.2

master

namenode,jobtracker

rac1

192.168.2.101

OEL5.6

/

slave

datanode,tasktracker

rac2

192.168.2.102

OEL5.6

/

slave

datanode,tasktracker

 

主要环境变量：

变量名

变量值

ORACLE_HOME

/u01/app/ora11g/product/11.2.0/db_1

ORACLE_SID

gcdb

HADOOP_HOME

/home/grid/hadoop-0.20.2

HADOOP_CONF_DIR

$HADOOP_HOME/conf

OSCH_HOME

/opt/odch/orahdfs-2.0.0

ORAHDFS_JAR

$OSCH_HOME/jlib/orahdfs.jar

HDFS_BIN_PATH

/opt/odch/orahdfs-2.0.0

HADOOP_CLASSPATH

$OSCH_HOME/jlib/*

 

 

3.       软件安装

linux和oracle安装见：

http://f.dataguru.cn/thread-55231-1-1.html

 

Hadoop安装见：

http://blog.csdn.net/lichangzai/article/details/8206834

 

二、   通过ODCH把HDFS->ORACLE

 

1.       上传odch文件并解压

[grid@gc odch]$ pwd

/opt/odch

[grid@gc odch]$ unzip orahdfs-2.0.0.zip

 

2.       修改环境变量

--添加hadoop\oracle\ODCH主要要环境变量

[grid@gc ~]$ vi .bash_profile

export ORACLE_BASE=/u01/app/ora11g

export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1

export ORACLE_SID=gcdb

export PATH=/usr/sbin:$PATH

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/usr/X11R6/lib64/

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

 

export HADOOP_HOME=/home/grid/hadoop-0.20.2

PATH=$PATH:$HOME/bin:/usr/java/jdk1.6.0_18/bin: $HADOOP_HOME/bin

export HADOOP_CONF_DIR=$HADOOP_HOME/conf

 

export OSCH_HOME=/opt/odch/orahdfs-2.0.0

export ORAHDFS_JAR=$OSCH_HOME/jlib/orahdfs.jar

export HDFS_BIN_PATH=$OSCH_HOME/bin

 

export JAVA_HOME=/usr

export PATH

 

3.       修改用户属组

说明：因为之前的hadoop安装在grid系统用户下，而oracle安装在了oracle系统用户下，为了操作方便，使grid用户有操作oracle操作库的权限，现在修改grid系统用户属组，添加到和oracle同样的用户组下。

 

--查看之前的用户属组

[root@gc ~]# id grid

uid=501(grid) gid=54326(hadoop) groups=54326(hadoop)

[root@gc ~]# id oracle

uid=500(oracle) gid=54321(oinstall) groups=54321(oinstall),54322(dba),54323(oper),54324(asmadmin)

 

--修改用户属组

[root@gc ~]# vi /etc/group

oinstall:x:54321:grid

dba:x:54322:oracle,grid

oper:x:54323:oracle,grid

asmadmin:x:54324:oracle,grid

 

--再次查看用户属组

[root@gc ~]# id grid

uid=501(grid) gid=54326(hadoop) groups=54326(hadoop),54322(dba),54321(oinstall),54324(asmadmin),54323(oper)

[root@gc ~]# id oracle

uid=500(oracle) gid=54321(oinstall) groups=54321(oinstall),54322(dba),54323(oper),54324(asmadmin)

 

注意：添加用户的用户组后，可能需要启系统才能真正生效，虽然id命令已经显示在所在的用户组。

 

--测试grid用户能访问oracle

[grid@gc ~]$ sqlplus "/as sysdba"

 

SQL*Plus: Release 11.2.0.2.0 Production on 星期三 1月 23 03:36:21 2013

 

Copyright (c) 1982, 2010, Oracle.  All rights reserved.

 

连接到:

Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

 

SQL> show parameter db_name;

 

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

db_name                              string      gcdb

 

 

4.       配置hdfs_stream script文件

--添加以下内容

[grid@gc ~]$ vi ${OSCH_HOME}/bin/hdfs_stream

export HADOOP_HOME=/home/grid/hadoop-0.20.2

export OSCH_HOME=/opt/odch/orahdfs-2.0.0

export PATH=/usr/bin:/bin:$HADOOP_HOME/bin

 

5.       确保oracle用户对$ODCH_LOG_DIR/logs目录有读写权限

因为Oracle用户需要在 {$ODCH_LOG_DIR} 目录中创建log/bad文件，所以要确保oracle用户对$ODCH_LOG_DIR/log目录有读写权限

 

--修改目录权限，测试读写文件

[root@gc opt]# chmod -R 777 odch/

[root@gc opt]# su - oracle

[oracle@gc ~]$ cd /opt/odch/orahdfs-2.0.0/log/

[oracle@gc log]$ touch ora_access_test

[oracle@gc log]$ rm ora_access_test

 

 

6.       配置操作系统目录和数据库的Directory对象

--创建所用的系统目录

[root@gc ~]# mkdir -p /opt/odch/orahdfs-2.0.0/logs

[root@gc ~]# mkdir -p /opt/odch/orahdfs-2.0.0/extdir

[root@gc ~]# chmod 777 /opt/odch/orahdfs-2.0.0/logs

[root@gc ~]# chmod 777 /opt/odch/orahdfs-2.0.0/extdir

 

 

--创建oracle Directory对象

[root@gc ~]# su - grid

[grid@gc ~]$ sqlplus "/as sysdba"

 

SQL*Plus: Release 11.2.0.2.0 Production on 星期三 1月 23 05:35:48 2013

 

Copyright (c) 1982, 2010, Oracle.  All rights reserved.

 

连接到:

Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

 

SQL> --可以放在命令行批量执行下面的语句

create or replace directory ODCH_LOG_DIR as '/opt/odch/orahdfs-2.0.0/logs';
grant read, write on directory ODCH_LOG_DIR to SCOTT;
create or replace directory ODCH_DATA_DIR as '/opt/odch/orahdfs-2.0.0/extdir';
grant read, write on directory ODCH_DATA_DIR to SCOTT;
create or replace directory HDFS_BIN_PATH as '/opt/odch/orahdfs-2.0.0/bin';
grant execute on directory HDFS_BIN_PATH to SCOTT;

grant read, write on directory HDFS_BIN_PATH to SCOTT;

 

--目录对象说明

HDFS_BIN_PATH:：hdfs_stream脚本所在目录.

HDFS_DATA_DIR：用来存放“位置文件”(location files)的目录。“位置文件”(location files) 是一个配置文件，里面包含HDFS的文件路径/文件名以及文件编码格式。

ODCH_LOG_DIR：Oracle用来存放外部表的log/bad等文件的目录.

 

 

7.       创建oracle外部表

SQL> conn scott/tiger

已连接。

SQL> --可以放在命令行批量执行下面的语句

CREATE TABLE admin_ext_employees
                   (employee_id       NUMBER(4), 
                    first_name        VARCHAR2(20),
                    last_name         VARCHAR2(25), 
                    job_id            VARCHAR2(10),
                    manager_id        NUMBER(4),
                    hire_date         DATE,
                    salary            NUMBER(8,2),
                    commission_pct    NUMBER(2,2),
                    department_id     NUMBER(4),
                    email             VARCHAR2(25) 
                   ) 
     ORGANIZATION EXTERNAL 
     ( 
       TYPE ORACLE_LOADER 
       DEFAULT DIRECTORY ODCH_DATA_DIR 
       ACCESS PARAMETERS 
       ( 
         records delimited by newline 
         preprocessor HDFS_BIN_PATH:hdfs_stream --使用hadoop预处理器
         badfile ODCH_LOG_DIR:'empxt%a_%p.bad' 
         logfile ODCH_LOG_DIR:'empxt%a_%p.log' 
         fields terminated by ',' 
         missing field values are null 
         ( employee_id, first_name, last_name, job_id, manager_id, 
           hire_date char date_format date mask "dd-mon-yyyy", 
           salary, commission_pct, department_id, email 
         ) 
       )

--在LOCATION对应的2个文件现在还不存在，我们会在下面的步骤中生成

--在LOCATION中使用多个文件，可以使Oracle可以多个程序并行访问HDFS
       LOCATION ('empxt1.dat', 'empxt2.dat') 
     ) 
     PARALLEL 
     REJECT LIMIT UNLIMITED;

SQL>

Table created

 

注：外部表使用实例

http://docs.oracle.com/cd/E11882_01/server.112/e25494/tables013.htm#ADMIN12896

 

 

8.       在Hadoop中放入示例文件

因ODCH要从Hadoop文件系统中读取数据. 所以我们先要在Hadoop中放入几个的数据文件。

--示例文件内容

[grid@gc ~]$ cat empxt1.dat

360,Jane,Janus,ST_CLERK,121,17-MAY-2001,3000,0,50,jjanus

361,Mark,Jasper,SA_REP,145,17-MAY-2001,8000,.1,80,mjasper

362,Brenda,Starr,AD_ASST,200,17-MAY-2001,5500,0,10,bstarr

363,Alex,Alda,AC_MGR,145,17-MAY-2001,9000,.15,80,aalda

[grid@gc ~]$ cat empxt2.dat

401,Jesse,Cromwell,HR_REP,203,17-MAY-2001,7000,0,40,jcromwel

402,Abby,Applegate,IT_PROG,103,17-MAY-2001,9000,.2,60,aapplega

403,Carol,Cousins,AD_VP,100,17-MAY-2001,27000,.3,90,ccousins

404,John,Richardson,AC_ACCOUNT,205,17-MAY-2001,5000,0,110,jrichard

 

--先在Hadoop中建立一个目录，然后把empxt*.dat放入该目录中

[grid@gc ~]$ hadoop dfs -mkdir odch_data

[grid@gc ~]$ wc -l empxt*

  4 empxt1.dat

  4 empxt2.dat

8 总计

[grid@gc ~]$ hadoop dfs -put empxt*.dat odch_data

[grid@gc ~]$ hadoop dfs -ls odch_data

Found 2 items

-rw-r--r--   2 grid supergroup        228 2013-01-24 23:13 /user/grid/odch_data/empxt1.dat

-rw-r--r--   2 grid supergroup        252 2013-01-24 23:13 /user/grid/odch_data/empxt2.dat

 

9.       生成“位置文件”

--执行下面的命令

export HADOOP_CLASSPATH="$OSCH_HOME/jlib/*"

hadoop jar \

${ORAHDFS_JAR} oracle.hadoop.hdfs.exttab.ExternalTable \

-D oracle.hadoop.hdfs.exttab.tableName=admin_ext_employees \

-D oracle.hadoop.hdfs.exttab.datasetPaths=odch_data \

-D oracle.hadoop.hdfs.exttab.datasetRegex=empxt.dat \

-D oracle.hadoop.hdfs.exttab.connection.url="jdbc:oracle:thin:@//192.168.2.100/gcdb" \

-D oracle.hadoop.hdfs.exttab.connection.user=SCOTT \

-publish

 

--输出如图

参数说明：

ExternalTable:使用hadoop ExternalTable命令工具

-D:指定相关参数

tableName:外部表名字

datasetPaths:源数据存放路径（HDFS）

datasetRegex:数据源格式

connection.url:oracle数据库连接串

connection.user:数据库用户名scott

命令执行后还要输入用户名密码：tiger

 

注意：

上面的输出结果中提示下面的内容，

DEPRECATED: The class oracle.hadoop.hdfs.exttab.ExternalTable is deprecated.

It is replaced by oracle.hadoop.exttab.ExternalTable.

意思类已经过时了，但是测试还是能用的，不用管它。被替换的新类使用方法可以见官方文档。

 

10.   查看“位置文件”内容

[grid@gc ~]$ cd /opt/odch/orahdfs-2.0.0/extdir/

[grid@gc extdir]$ cat osch-20130124045151-3641-1

参数说明：

CompressionCodec：HDFS 文件指向

默认值 hdfs://gc:9000/user/grid/odch_data/empxt1.dat

 

11.   检查结果

--查看外部表数据

--查看执行计划

 

--把外部表导入到数据库当中

SQL> create table ext1 as select * from admin_ext_employees;

 

表已创建。

 

到此完成了从HDFS数据到oracle数据库的导入！

 

 

三、 经验总结

1.       各种目录权限

如：odch和hadoop最好不要安装在/home/usr下，因linux系统的用户之间的/home/usr是不相互访问的，即使/home/usr设置了比较大的访问权限

2.       各种软件版本

可以参考：

http://www.dataguru.cn/forum.php?mod=viewthread&tid=39412

 

 

四、   参考资料

http://docs.oracle.com/cd/E37231_01/doc.20/e36961/sqlch.htm#CHDHHHAJ

http://docs.oracle.com/cd/E11882_01/server.112/e25494/tables013.htm#ADMIN12896

http://docs.oracle.com/cd/E37231_01/doc.20/e36961/odi.htm

http://www.dataguru.cn/forum.php?mod=viewthread&tid=39412

tigerfish ppt

 

五、     遇到的问题

1.       执行生成“位置文件”命令后，不显示结果跳出

现象：

当执行生成“位置文件”命令后，没有报错，没提示输入密码，也没有结果跳出执行。

[grid@gc logs]$ hadoop jar \

> ${ORAHDFS_JAR} oracle.hadoop.hdfs.exttab.ExternalTable \

> -D oracle.hadoop.hdfs.exttab.tableName=odch_ext_table \

> -D oracle.hadoop.hdfs.exttab.datasetPaths=odch_data \

> -D oracle.hadoop.hdfs.exttab.datasetRegex=odch1.dat \

> -D oracle.hadoop.hdfs.exttab.connection.url="jdbc:oracle:thin:@//192.168.2.100:1521/gcdb" \

> -D oracle.hadoop.hdfs.exttab.connection.user=SCOTT \

> -publish

DEPRECATED: The class oracle.hadoop.hdfs.exttab.ExternalTable is deprecated.

It is replaced by oracle.hadoop.exttab.ExternalTable.

 

Oracle SQL Connector for HDFS Release 2.0.0 - Production

 

Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.

 

解决：

检查执行命令正确无误后，感觉就是环境变量的问题

设置环境变量HADOOP_CLASSPATH后，再次运行命令正常。

export HADOOP_CLASSPATH="$OSCH_HOME/jlib/*"

 

 

2. IO 错误: The Network Adapter could not establish the connection

现象：

当使用新版本的ODCH的oracle数据库连接串时，出现下面的错误

 

[grid@gc ~]$ export HADOOP_CLASSPATH="$OSCH_HOME/jlib/*"

[grid@gc ~]$ hadoop jar \

> ${ORAHDFS_JAR} oracle.hadoop.exttab.ExternalTable \

> -D oracle.hadoop.exttab.tableName=odch_ext_table \

> -D oracle.hadoop.exttab.datasetPaths=odch_data \

> -D oracle.hadoop.exttab.datasetRegex=odch1.dat \

> -D oracle.hadoop.exttab.connection.url=jdbc:oracle:thin:@localhost:1521/gcdb \

> -D oracle.hadoop.exttab.connection.user=SCOTT \

> -publish

Oracle SQL Connector for HDFS Release 2.0.0 - Production

 

Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.

 

[Enter Database Password:]

java.sql.SQLRecoverableException: IO 错误: The Network Adapter could not establish the connection

oracle.net.ns.NetException: The Network Adapter could not establish the connection

To get a complete stacktrace, rerun the command with property: oracle.hadoop.exttab.printStackTrace=true

 

--使用printStackTrace参数出现帮助信息

[grid@gc ~]$ hadoop jar \

> ${ORAHDFS_JAR} oracle.hadoop.exttab.ExternalTable \

> -D oracle.hadoop.exttab.tableName=odch_ext_table \

> -D oracle.hadoop.exttab.datasetPaths=odch_data \

> -D oracle.hadoop.exttab.datasetRegex=odch1.dat \

> -D oracle.hadoop.exttab.connection.url=jdbc:oracle:thin:@localhost:1521/gcdb \

> -D oracle.hadoop.exttab.connection.user=SCOTT \

> -D oracle.hadoop.exttab.printStackTrace=true\

> -publish

Oracle SQL Connector for HDFS Release 2.0.0 - Production

 

Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.

 

Usage: bin/hadoop jar orahdfs.jar oracle.hadoop.exttab.ExternalTable [genericOptions]  [-publish | -createTable [--noexecute]] | [-listLocations [--details]] | [-getDDL]

 

    -createTable: creates an external table and also publishes HDFS data URIs to location files of the table

    -publish: publishes the HDFS data URIs to the location files of an external table

    -listLocations: prints the location files of an external table

    -getDDL: prints the DDL of an external table

 

 

    [genericOptions] : the generic command-line options supported by the Hadoop Tool interface

 

    [options] : the following options can be used with thecommands

      --noexecute : prints the execution plan of the -createTable or -publish command

      --details : prints a detailed listing of the location files for the -listLocations command.

 

 

Example:

 $HADOOP_HOME/bin/hadoop jar orahdfs.jar oracle.hadoop.exttab.ExternalTable  -D oracle.hadoop.exttab.tableName=SALES_EXT_TAB  -D oracle.hadoop.exttab.dataPaths=hdfs:/user/scott/data/ -D oracle.hadoop.connection.url=jdbc:oracle:thin:@myhost:1521/example.example.com -D oracle.hadoop.connection.user=scott -publish

[grid@gc ~]$

 

解决：

还是使用旧版本的ODCH连接oracle数据库的方法

hadoop jar \

/opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar oracle.hadoop.hdfs.exttab.ExternalTable \

-D oracle.hadoop.hdfs.exttab.tableName=admin_ext_employees \

-D oracle.hadoop.hdfs.exttab.datasetPaths=odch_data \

-D oracle.hadoop.hdfs.exttab.datasetRegex=empxt.dat \

-D oracle.hadoop.hdfs.exttab.connection.url="jdbc:oracle:thin:@//192.168.2.100:1521/gcdb" \

-D oracle.hadoop.hdfs.exttab.connection.user=SCOTT \

-publish

 

 

3. OSCH_HOME is not set

现象：

在执行查询外部时，数据加载错误，在bad文件中出现以下内容

[grid@gc ~]$ cd /opt/odch/orahdfs-2.0.0/logs

[grid@gc logs]$ cat odch_ext_table000_14910.bad

OSCH_HOME is not set

 

解决：

原因是没有在hdfs_stream文件中设置环境变量

--在hdfs_stream文件中添加如下内容，

export OSCH_HOME=/opt/odch/orahdfs-2.0.0

 

4. Error opening job jar

现象：

当刚配置完成后命令是正常可用，过了一段时间后，再次执行时，却突然出现下面的错误。

[grid@gc ~]$ hadoop jar \

> ${ORAHDFS_JAR} oracle.hadoop.hdfs.exttab.ExternalTable \

> -D oracle.hadoop.hdfs.exttab.tableName=admin_ext_employees \

> -D oracle.hadoop.hdfs.exttab.datasetPaths=odch_data \

> -D oracle.hadoop.hdfs.exttab.datasetRegex=empxt.dat \

> -D oracle.hadoop.hdfs.exttab.connection.url="jdbc:oracle:thin:@//192.168.2.100/gcdb" \

> -D oracle.hadoop.hdfs.exttab.connection.user=SCOTT \

> -publish

Exception in thread "main" java.io.IOException: Error opening job jar: /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

        at org.apache.hadoop.util.RunJar.main(RunJar.java:90)

Caused by: java.util.zip.ZipException: error in opening zip file

        at java.util.zip.ZipFile.open(Native Method)

        at java.util.zip.ZipFile.<init>(ZipFile.java:114)

        at java.util.jar.JarFile.<init>(JarFile.java:133)

        at java.util.jar.JarFile.<init>(JarFile.java:70)

        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

解决：

把orahdfs.jar包从安装文件里再重新copy一份，把原来的jar包覆盖掉，重新运行就好了。

[root@gc jlib]# mv orahdfs.jar /opt/odch/orahdfs-2.0.0/jlib/

mv：是否覆盖“/opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar”? y

[root@gc jlib]# chown grid:hadoop /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

[root@gc jlib]# chmod 777 /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

[root@gc jlib]# ll /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

-rwxrwxrwx 1 grid hadoop 117405 11-29 09:46 /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

eric_lee
关注
专栏目录
hadoop基础----hadoop实战(二)-----hadoop操作hdfs---hdfs文件系统常用命令
直到世界的尽头
08-18 6962
我们在前面已经介绍过了 hadoop 1.0是由2大部分组成的:hdfs + mapreduce也对hdfs做了相关介绍。hadoop基础----hadoop理论(三)-----hadoop分布式文件系统HDFS详解因为上一章我们已经安装好了hadoop1.0的环境hadoop基础----hadoop实战(一)-----hadoop环境安装---手动安装官方1.0版本本章就来尝试实际操作 hdfs
Oracle HDFS直接连接器（ODCH）
weixin_45368356的博客
08-30 387
实验 : 直接访问单个 HDFS 文件 步骤1: 配置操作系统的目录和数据库的Directory对象 步骤2: 创建外部表 步骤3: 在Hadoop中放入示例文件 步骤4: 生成“位置文件” 步骤5: 检查结果 步骤6: 改动HDFS文件，检查结果. 1、直接访问HDFS数据文件 Oracle的HDFS直接连接器允许从数据库中直接访问HDFS的数据文件。 支持的数据文件格式取决于O...
hadoop学习之-使用ODCH工具实现oralce外部表访问HDFS数据文件
热门推荐
我思，故我在！--My data life
01-25 1万+
实验说明： 本实验目的是通过使用Oracle的HDFS直接连接器从oracle数据库的外部表中直接访问HDFS的数据文件。支持的数据文件格式取决于ORACLE_LOADER的驱动程序。   一、   安装准备 1.       软件下载： Oracle Big Data Connectors：ODCH http://www.oracle.com/technetwork/bdc/b
使用oracle的大数据工具ODCH访问HDFS数据文件
08-19 211
软件下载 Oracle Big Data Connectors：ODCH 下载地址： http://www.oracle.com/technetwork/bdc/big-data-connectors/downloads/index.html Jave SE 下载地址： http://www.oracle.com/technetwork/java/javase/downlo...
Oracle外部表介绍.
mengxiangfeiyang的专栏
07-16 798
1.介绍 外部表只能在Oracle 9i之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。 2.特性 （1） 位于文件系统之中，按一定格式分割，如文本文件或者其他类型的表可以作为外部表。 （2） 对外部表的访问可
oracle外部表的使用_使用外部表
IT与开发人员的地盘
07-09 338
oracle外部表的使用 该线程包含一些使用外部表的有用技巧。 使用外部表 ======================= 1.将表指向外部文件。 如果外部文件中的数据被更改，则表中的数据也将发生变化。 2.外部表可以按照与联接，视图中的标准表相同的方式进行查询...并可以使用外部表上的所有类型的功能。 3.获取有关外部表的信息，查询“ USER_EXTERNAL_TABLE...
Hadoop-Sqoop-Oracle:使用Sqoop在Oracle数据库和HDFS之间进行导入和导出
04-07
Hadoop-Sqoop-Oracle 使用Sqoop在Oracle数据库和HDFS之间进行导入和导出 ... 可以将来自外部系统的数据导入HDFS并以Hive表和HBase表等各种Hadoop文件格式保存。 Sqoop v2仅支持保存到HDFS 在所有与JDBC
Hadoop数据迁移--从Oracle向Hadoop
05-28
Hadoop数据迁移是指将存储在传统数据库系统（如Oracle）中的数据转移到Hadoop文件系统（HDFS）的过程。在这个过程中，MapReduce作为一种编程模型，用于处理和生成大数据集，被用来连接Hadoop与Oracle数据库，使得...
hadoop-eclipse-plugin-2.6.0.jar程序文件
12-20
It takes me two days to find the root cause for the exceptions and finally generate this jar file for hadoop 2.6.0. 1.use hadoop 2.6.0. 2.change the hadoop_home and path to point to hadoop 2.6.0 3....
Hadoop学习-集群配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
最新发布
HaveAGoodDay428的博客
02-17 7754
集群配置文件，hadoop
Oracle外部表详解
crocodile_songe的专栏(专注，简单)
06-05 1077
外部表概述 外部表只能在Oracle 9i之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。 外部表的特性 位于文件系统之中，按一定格式分割，如文本文件或者其他类型的表可以作为外部表。 对外部表的访问可以通过SQ
连接Oracle与Hadoop(1) 使用OLH加载HDFS文件到Oracle
weixin_30242907的博客
12-10 286
OLH是Oracle Loader for Hadoop的缩写，Oracle的大数据连接器（BDC）的一个组件，可将多种数据格式从HDFS上加载到Oracle数据库库中。 本文在同一台服务器上模拟oracle数据库与hadoop集群，实验目标：使用OLH从Hadoop端的HDFS加载数据到Oracle表中。 Oracle端： 服务器 系统用户 ...
移动通信术语英文缩写对照
TXNMG的博客
10-22 6301
RC Radio Configuration 无线配置（指无线信道的工作模式，每种RC支持一套数据速率，不同RC物理信道的各种参数不同，包括调制特性和扩谱速率SR等，RC1、RC2即常说的速率集1、速率集2）CHM-95 Channel Processing Module for IS-95 信道处理模块，采用CSM1.5芯片，支持IS-95空中接口标准。
Java大数据-DataX从 Oracle 中读取数据存到 MySQL、读取 Oracle 的数据存入 HDFS 中
godkzz的博客
01-04 1815
一、读取数据存到 MySQL 1.MySQL 中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000 mysql> create database oracle; mysql> use oracle; mysql> create table student(id int,name varchar(20)); 2.编写 datax 配置文件 [oracle@hadoop102 ~]$ vim /opt/module/datax/job
误删除oracle目录,Oracle用户目录误删除的恢复
weixin_39557199的博客
04-02 553
当我们在安装Oracle软件前，必须先创建oracle用户组，如oinstall,dba,oper等，并且必须创建oracle用户在创建完用户账户后，会自动在/home文件夹下，增加一个以用户名命名的文件夹，里面就是存放该用户的一些环境变量等信息当我们在做文件清理的时候，如果不小心执行了rm -rf /home/oracle，那么该如何恢复这些文件呢？其实在创建用户的过程中，还会对几个目录进行修改...
sqlplus / as sysdba 报错ORA-01031 insufficient privileges
hsghggt的博客
11-18 520
sqlplus / as sysdba 报错ORA-01031 insufficient privileges
个人总结OLinux上安装oracle11G Data Guard
batistuta1977的博客
08-02 258
个人总结OLinux上安装oracle11G Data Guard一、准备环境预装包说明选择对应6.5的版本，使enable=1校验结果：新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特...
oracle的外部表和内部表链接,内部表和外部表区别
weixin_34649105的博客
04-06 751
一、外部表的创建、load、删除1.文件在本地而不是在hdfs的时候1.1 建表时指定location(1)建表并load数据create external table exTable28 (id int,str string) row format delimited fields terminated by ' ' location '/zgm/test/';load data local ...
Hadoop-HDFS：分布式文件系统架构解析
然而，HDFS也有其不足之处，例如，它不擅长提供低延迟的数据访问，对小文件的处理效率较低，因为小文件会产生大量元数据，可能导致元数据管理成为瓶颈。此外，HDFS不支持并发写入同一文件，文件一旦写入就不能修改，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值