hadoop学习之-应用ODCH工具实现oralce外部表访问HDFS数据文件

最新推荐文章于 2022-10-22 07:00:00 发布
最新推荐文章于 2022-10-22 07:00:00 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 大数据开发
hadoop学习之-使用ODCH工具实现oralce外部表访问HDFS数据文件

实验说明：

本实验目的是通过使用Oracle的HDFS直接连接器从oracle数据库的外部表中直接访问HDFS的数据文件。支持的数据文件格式取决于ORACLE_LOADER的驱动程序。

 

一、   安装准备

1.       软件下载：

Oracle Big Data Connectors：ODCH

http://www.oracle.com/technetwork/bdc/big-data-connectors/downloads/index.html

Jave SE 下载地址：

http://www.oracle.com/technetwork/java/javase/downloads/jdk6u38-downloads-1877406.html

 

Oracle11g下载地址：

http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.html

 

Oracle Enterprise Linux下载地址：需要注册oracle帐号才能下载

https://edelivery.oracle.com/linux

 

 

2.       安装环境

软件版本：

OS：Oracle Enterprise Linux 5.6

Oracle DB：Oracle 11.2.0.2

Jave SE：jdk1.6.0_18

ODCH：Oracle SQL Connector for Hadoop Distributed File System Release 2.0 for Linux

Hadoop：hadoop-0.20.2

 

Hadoop\Oracle架构：

 

 

 

 

主机名

IP

系统版本

Oracle node

Hadoop node

hadoop进程名

gc

192.168.2.100

OEL5.6

Oracle11.2.0.2

master

namenode,jobtracker

rac1

192.168.2.101

OEL5.6

/

slave

datanode,tasktracker

rac2

192.168.2.102

OEL5.6

/

slave

datanode,tasktracker

 

主要环境变量：

变量名

变量值

ORACLE_HOME

/u01/app/ora11g/product/11.2.0/db_1

ORACLE_SID

gcdb

HADOOP_HOME

/home/grid/hadoop-0.20.2

HADOOP_CONF_DIR

$HADOOP_HOME/conf

OSCH_HOME

/opt/odch/orahdfs-2.0.0

ORAHDFS_JAR

$OSCH_HOME/jlib/orahdfs.jar

HDFS_BIN_PATH

/opt/odch/orahdfs-2.0.0

HADOOP_CLASSPATH

$OSCH_HOME/jlib/*

 

 

3.       软件安装

linux和oracle安装见：

http://f.dataguru.cn/thread-55231-1-1.html

 

Hadoop安装见：

http://blog.csdn.net/lichangzai/article/details/8206834

 

二、   通过ODCH把HDFS->ORACLE

 

1.       上传odch文件并解压

[grid@gc odch]$ pwd

/opt/odch

[grid@gc odch]$ unzip orahdfs-2.0.0.zip

 

2.       修改环境变量

--添加hadoop\oracle\ODCH主要要环境变量

[grid@gc ~]$ vi .bash_profile

export ORACLE_BASE=/u01/app/ora11g

export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1

export ORACLE_SID=gcdb

export PATH=/usr/sbin:$PATH

export PATH=$ORACLE_HOME/bin:$PATH

export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/usr/X11R6/lib64/

export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib

 

export HADOOP_HOME=/home/grid/hadoop-0.20.2

PATH=$PATH:$HOME/bin:/usr/java/jdk1.6.0_18/bin: $HADOOP_HOME/bin

export HADOOP_CONF_DIR=$HADOOP_HOME/conf

 

export OSCH_HOME=/opt/odch/orahdfs-2.0.0

export ORAHDFS_JAR=$OSCH_HOME/jlib/orahdfs.jar

export HDFS_BIN_PATH=$OSCH_HOME/bin

 

export JAVA_HOME=/usr

export PATH

 

3.       修改用户属组

说明：因为之前的hadoop安装在grid系统用户下，而oracle安装在了oracle系统用户下，为了操作方便，使grid用户有操作oracle操作库的权限，现在修改grid系统用户属组，添加到和oracle同样的用户组下。

 

--查看之前的用户属组

[root@gc ~]# id grid

uid=501(grid) gid=54326(hadoop) groups=54326(hadoop)

[root@gc ~]# id oracle

uid=500(oracle) gid=54321(oinstall) groups=54321(oinstall),54322(dba),54323(oper),54324(asmadmin)

 

--修改用户属组

[root@gc ~]# vi /etc/group

oinstall:x:54321:grid

dba:x:54322:oracle,grid

oper:x:54323:oracle,grid

asmadmin:x:54324:oracle,grid

 

--再次查看用户属组

[root@gc ~]# id grid

uid=501(grid) gid=54326(hadoop) groups=54326(hadoop),54322(dba),54321(oinstall),54324(asmadmin),54323(oper)

[root@gc ~]# id oracle

uid=500(oracle) gid=54321(oinstall) groups=54321(oinstall),54322(dba),54323(oper),54324(asmadmin)

 

注意：添加用户的用户组后，可能需要启系统才能真正生效，虽然id命令已经显示在所在的用户组。

 

--测试grid用户能访问oracle

[grid@gc ~]$ sqlplus "/as sysdba"

 

SQL*Plus: Release 11.2.0.2.0 Production on 星期三 1月 23 03:36:21 2013

 

Copyright (c) 1982, 2010, Oracle.  All rights reserved.

 

连接到:

Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

 

SQL> show parameter db_name;

 

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

db_name                              string      gcdb

 

 

4.       配置hdfs_stream script文件

--添加以下内容

[grid@gc ~]$ vi ${OSCH_HOME}/bin/hdfs_stream

export HADOOP_HOME=/home/grid/hadoop-0.20.2

export OSCH_HOME=/opt/odch/orahdfs-2.0.0

export PATH=/usr/bin:/bin:$HADOOP_HOME/bin

 

5.       确保oracle用户对$ODCH_LOG_DIR/logs目录有读写权限

因为Oracle用户需要在 {$ODCH_LOG_DIR} 目录中创建log/bad文件，所以要确保oracle用户对$ODCH_LOG_DIR/log目录有读写权限

 

--修改目录权限，测试读写文件

[root@gc opt]# chmod -R 777 odch/

[root@gc opt]# su - oracle

[oracle@gc ~]$ cd /opt/odch/orahdfs-2.0.0/log/

[oracle@gc log]$ touch ora_access_test

[oracle@gc log]$ rm ora_access_test

 

 

6.       配置操作系统目录和数据库的Directory对象

--创建所用的系统目录

[root@gc ~]# mkdir -p /opt/odch/orahdfs-2.0.0/logs

[root@gc ~]# mkdir -p /opt/odch/orahdfs-2.0.0/extdir

[root@gc ~]# chmod 777 /opt/odch/orahdfs-2.0.0/logs

[root@gc ~]# chmod 777 /opt/odch/orahdfs-2.0.0/extdir

 

 

--创建oracle Directory对象

[root@gc ~]# su - grid

[grid@gc ~]$ sqlplus "/as sysdba"

 

SQL*Plus: Release 11.2.0.2.0 Production on 星期三 1月 23 05:35:48 2013

 

Copyright (c) 1982, 2010, Oracle.  All rights reserved.

 

连接到:

Oracle Database 11g Enterprise Edition Release 11.2.0.2.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

 

SQL> --可以放在命令行批量执行下面的语句

create or replace directory ODCH_LOG_DIR as '/opt/odch/orahdfs-2.0.0/logs';
grant read, write on directory ODCH_LOG_DIR to SCOTT;
create or replace directory ODCH_DATA_DIR as '/opt/odch/orahdfs-2.0.0/extdir';
grant read, write on directory ODCH_DATA_DIR to SCOTT;
create or replace directory HDFS_BIN_PATH as '/opt/odch/orahdfs-2.0.0/bin';
grant execute on directory HDFS_BIN_PATH to SCOTT;

grant read, write on directory HDFS_BIN_PATH to SCOTT;

 

--目录对象说明

HDFS_BIN_PATH:：hdfs_stream脚本所在目录.

HDFS_DATA_DIR：用来存放“位置文件”(location files)的目录。“位置文件”(location files) 是一个配置文件，里面包含HDFS的文件路径/文件名以及文件编码格式。

ODCH_LOG_DIR：Oracle用来存放外部表的log/bad等文件的目录.

 

 

7.       创建oracle外部表

SQL> conn scott/tiger

已连接。

SQL> --可以放在命令行批量执行下面的语句

CREATE TABLE admin_ext_employees
                   (employee_id       NUMBER(4), 
                    first_name        VARCHAR2(20),
                    last_name         VARCHAR2(25), 
                    job_id            VARCHAR2(10),
                    manager_id        NUMBER(4),
                    hire_date         DATE,
                    salary            NUMBER(8,2),
                    commission_pct    NUMBER(2,2),
                    department_id     NUMBER(4),
                    email             VARCHAR2(25) 
                   ) 
     ORGANIZATION EXTERNAL 
     ( 
       TYPE ORACLE_LOADER 
       DEFAULT DIRECTORY ODCH_DATA_DIR 
       ACCESS PARAMETERS 
       ( 
         records delimited by newline 
         preprocessor HDFS_BIN_PATH:hdfs_stream --使用hadoop预处理器
         badfile ODCH_LOG_DIR:'empxt%a_%p.bad' 
         logfile ODCH_LOG_DIR:'empxt%a_%p.log' 
         fields terminated by ',' 
         missing field values are null 
         ( employee_id, first_name, last_name, job_id, manager_id, 
           hire_date char date_format date mask "dd-mon-yyyy", 
           salary, commission_pct, department_id, email 
         ) 
       )

--在LOCATION对应的2个文件现在还不存在，我们会在下面的步骤中生成

--在LOCATION中使用多个文件，可以使Oracle可以多个程序并行访问HDFS
       LOCATION ('empxt1.dat', 'empxt2.dat') 
     ) 
     PARALLEL 
     REJECT LIMIT UNLIMITED;

SQL>

Table created

 

注：外部表使用实例

http://docs.oracle.com/cd/E11882_01/server.112/e25494/tables013.htm#ADMIN12896

 

 

8.       在Hadoop中放入示例文件

因ODCH要从Hadoop文件系统中读取数据. 所以我们先要在Hadoop中放入几个的数据文件。

--示例文件内容

[grid@gc ~]$ cat empxt1.dat

360,Jane,Janus,ST_CLERK,121,17-MAY-2001,3000,0,50,jjanus

361,Mark,Jasper,SA_REP,145,17-MAY-2001,8000,.1,80,mjasper

362,Brenda,Starr,AD_ASST,200,17-MAY-2001,5500,0,10,bstarr

363,Alex,Alda,AC_MGR,145,17-MAY-2001,9000,.15,80,aalda

[grid@gc ~]$ cat empxt2.dat

401,Jesse,Cromwell,HR_REP,203,17-MAY-2001,7000,0,40,jcromwel

402,Abby,Applegate,IT_PROG,103,17-MAY-2001,9000,.2,60,aapplega

403,Carol,Cousins,AD_VP,100,17-MAY-2001,27000,.3,90,ccousins

404,John,Richardson,AC_ACCOUNT,205,17-MAY-2001,5000,0,110,jrichard

 

--先在Hadoop中建立一个目录，然后把empxt*.dat放入该目录中

[grid@gc ~]$ hadoop dfs -mkdir odch_data

[grid@gc ~]$ wc -l empxt*

  4 empxt1.dat

  4 empxt2.dat

8 总计

[grid@gc ~]$ hadoop dfs -put empxt*.dat odch_data

[grid@gc ~]$ hadoop dfs -ls odch_data

Found 2 items

-rw-r--r--   2 grid supergroup        228 2013-01-24 23:13 /user/grid/odch_data/empxt1.dat

-rw-r--r--   2 grid supergroup        252 2013-01-24 23:13 /user/grid/odch_data/empxt2.dat

 

9.       生成“位置文件”

--执行下面的命令

export HADOOP_CLASSPATH="$OSCH_HOME/jlib/*"

hadoop jar \

${ORAHDFS_JAR} oracle.hadoop.hdfs.exttab.ExternalTable \

-D oracle.hadoop.hdfs.exttab.tableName=admin_ext_employees \

-D oracle.hadoop.hdfs.exttab.datasetPaths=odch_data \

-D oracle.hadoop.hdfs.exttab.datasetRegex=empxt.dat \

-D oracle.hadoop.hdfs.exttab.connection.url="jdbc:oracle:thin:@//192.168.2.100/gcdb" \

-D oracle.hadoop.hdfs.exttab.connection.user=SCOTT \

-publish

 

--输出如图

参数说明：

ExternalTable:使用hadoop ExternalTable命令工具

-D:指定相关参数

tableName:外部表名字

datasetPaths:源数据存放路径（HDFS）

datasetRegex:数据源格式

connection.url:oracle数据库连接串

connection.user:数据库用户名scott

命令执行后还要输入用户名密码：tiger

 

注意：

上面的输出结果中提示下面的内容，

DEPRECATED: The class oracle.hadoop.hdfs.exttab.ExternalTable is deprecated.

It is replaced by oracle.hadoop.exttab.ExternalTable.

意思类已经过时了，但是测试还是能用的，不用管它。被替换的新类使用方法可以见官方文档。

 

10.   查看“位置文件”内容

[grid@gc ~]$ cd /opt/odch/orahdfs-2.0.0/extdir/

[grid@gc extdir]$ cat osch-20130124045151-3641-1

参数说明：

CompressionCodec：HDFS 文件指向

默认值 hdfs://gc:9000/user/grid/odch_data/empxt1.dat

 

11.   检查结果

--查看外部表数据

--查看执行计划

 

--把外部表导入到数据库当中

SQL> create table ext1 as select * from admin_ext_employees;

 

表已创建。

 

到此完成了从HDFS数据到oracle数据库的导入！

 

 

三、 经验总结

1.       各种目录权限

如：odch和hadoop最好不要安装在/home/usr下，因linux系统的用户之间的/home/usr是不相互访问的，即使/home/usr设置了比较大的访问权限

2.       各种软件版本

可以参考：

http://www.dataguru.cn/forum.php?mod=viewthread&tid=39412

 

 

四、   参考资料

http://docs.oracle.com/cd/E37231_01/doc.20/e36961/sqlch.htm#CHDHHHAJ

http://docs.oracle.com/cd/E11882_01/server.112/e25494/tables013.htm#ADMIN12896

http://docs.oracle.com/cd/E37231_01/doc.20/e36961/odi.htm

http://www.dataguru.cn/forum.php?mod=viewthread&tid=39412

tigerfish ppt

 

五、     遇到的问题

1.       执行生成“位置文件”命令后，不显示结果跳出

现象：

当执行生成“位置文件”命令后，没有报错，没提示输入密码，也没有结果跳出执行。

[grid@gc logs]$ hadoop jar \

> ${ORAHDFS_JAR} oracle.hadoop.hdfs.exttab.ExternalTable \

> -D oracle.hadoop.hdfs.exttab.tableName=odch_ext_table \

> -D oracle.hadoop.hdfs.exttab.datasetPaths=odch_data \

> -D oracle.hadoop.hdfs.exttab.datasetRegex=odch1.dat \

> -D oracle.hadoop.hdfs.exttab.connection.url="jdbc:oracle:thin:@//192.168.2.100:1521/gcdb" \

> -D oracle.hadoop.hdfs.exttab.connection.user=SCOTT \

> -publish

DEPRECATED: The class oracle.hadoop.hdfs.exttab.ExternalTable is deprecated.

It is replaced by oracle.hadoop.exttab.ExternalTable.

 

Oracle SQL Connector for HDFS Release 2.0.0 - Production

 

Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.

 

解决：

检查执行命令正确无误后，感觉就是环境变量的问题

设置环境变量HADOOP_CLASSPATH后，再次运行命令正常。

export HADOOP_CLASSPATH="$OSCH_HOME/jlib/*"

 

 

2. IO 错误: The Network Adapter could not establish the connection

现象：

当使用新版本的ODCH的oracle数据库连接串时，出现下面的错误

 

[grid@gc ~]$ export HADOOP_CLASSPATH="$OSCH_HOME/jlib/*"

[grid@gc ~]$ hadoop jar \

> ${ORAHDFS_JAR} oracle.hadoop.exttab.ExternalTable \

> -D oracle.hadoop.exttab.tableName=odch_ext_table \

> -D oracle.hadoop.exttab.datasetPaths=odch_data \

> -D oracle.hadoop.exttab.datasetRegex=odch1.dat \

> -D oracle.hadoop.exttab.connection.url=jdbc:oracle:thin:@localhost:1521/gcdb \

> -D oracle.hadoop.exttab.connection.user=SCOTT \

> -publish

Oracle SQL Connector for HDFS Release 2.0.0 - Production

 

Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.

 

[Enter Database Password:]

java.sql.SQLRecoverableException: IO 错误: The Network Adapter could not establish the connection

oracle.net.ns.NetException: The Network Adapter could not establish the connection

To get a complete stacktrace, rerun the command with property: oracle.hadoop.exttab.printStackTrace=true

 

--使用printStackTrace参数出现帮助信息

[grid@gc ~]$ hadoop jar \

> ${ORAHDFS_JAR} oracle.hadoop.exttab.ExternalTable \

> -D oracle.hadoop.exttab.tableName=odch_ext_table \

> -D oracle.hadoop.exttab.datasetPaths=odch_data \

> -D oracle.hadoop.exttab.datasetRegex=odch1.dat \

> -D oracle.hadoop.exttab.connection.url=jdbc:oracle:thin:@localhost:1521/gcdb \

> -D oracle.hadoop.exttab.connection.user=SCOTT \

> -D oracle.hadoop.exttab.printStackTrace=true\

> -publish

Oracle SQL Connector for HDFS Release 2.0.0 - Production

 

Copyright (c) 2012, Oracle and/or its affiliates. All rights reserved.

 

Usage: bin/hadoop jar orahdfs.jar oracle.hadoop.exttab.ExternalTable [genericOptions]  [-publish | -createTable [--noexecute]] | [-listLocations [--details]] | [-getDDL]

 

    -createTable: creates an external table and also publishes HDFS data URIs to location files of the table

    -publish: publishes the HDFS data URIs to the location files of an external table

    -listLocations: prints the location files of an external table

    -getDDL: prints the DDL of an external table

 

 

    [genericOptions] : the generic command-line options supported by the Hadoop Tool interface

 

    [options] : the following options can be used with thecommands

      --noexecute : prints the execution plan of the -createTable or -publish command

      --details : prints a detailed listing of the location files for the -listLocations command.

 

 

Example:

 $HADOOP_HOME/bin/hadoop jar orahdfs.jar oracle.hadoop.exttab.ExternalTable  -D oracle.hadoop.exttab.tableName=SALES_EXT_TAB  -D oracle.hadoop.exttab.dataPaths=hdfs:/user/scott/data/ -D oracle.hadoop.connection.url=jdbc:oracle:thin:@myhost:1521/example.example.com -D oracle.hadoop.connection.user=scott -publish

[grid@gc ~]$

 

解决：

还是使用旧版本的ODCH连接oracle数据库的方法

hadoop jar \

/opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar oracle.hadoop.hdfs.exttab.ExternalTable \

-D oracle.hadoop.hdfs.exttab.tableName=admin_ext_employees \

-D oracle.hadoop.hdfs.exttab.datasetPaths=odch_data \

-D oracle.hadoop.hdfs.exttab.datasetRegex=empxt.dat \

-D oracle.hadoop.hdfs.exttab.connection.url="jdbc:oracle:thin:@//192.168.2.100:1521/gcdb" \

-D oracle.hadoop.hdfs.exttab.connection.user=SCOTT \

-publish

 

 

3. OSCH_HOME is not set

现象：

在执行查询外部时，数据加载错误，在bad文件中出现以下内容

[grid@gc ~]$ cd /opt/odch/orahdfs-2.0.0/logs

[grid@gc logs]$ cat odch_ext_table000_14910.bad

OSCH_HOME is not set

 

解决：

原因是没有在hdfs_stream文件中设置环境变量

--在hdfs_stream文件中添加如下内容，

export OSCH_HOME=/opt/odch/orahdfs-2.0.0

 

4. Error opening job jar

现象：

当刚配置完成后命令是正常可用，过了一段时间后，再次执行时，却突然出现下面的错误。

[grid@gc ~]$ hadoop jar \

> ${ORAHDFS_JAR} oracle.hadoop.hdfs.exttab.ExternalTable \

> -D oracle.hadoop.hdfs.exttab.tableName=admin_ext_employees \

> -D oracle.hadoop.hdfs.exttab.datasetPaths=odch_data \

> -D oracle.hadoop.hdfs.exttab.datasetRegex=empxt.dat \

> -D oracle.hadoop.hdfs.exttab.connection.url="jdbc:oracle:thin:@//192.168.2.100/gcdb" \

> -D oracle.hadoop.hdfs.exttab.connection.user=SCOTT \

> -publish

Exception in thread "main" java.io.IOException: Error opening job jar: /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

        at org.apache.hadoop.util.RunJar.main(RunJar.java:90)

Caused by: java.util.zip.ZipException: error in opening zip file

        at java.util.zip.ZipFile.open(Native Method)

        at java.util.zip.ZipFile.<init>(ZipFile.java:114)

        at java.util.jar.JarFile.<init>(JarFile.java:133)

        at java.util.jar.JarFile.<init>(JarFile.java:70)

        at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

解决：

把orahdfs.jar包从安装文件里再重新copy一份，把原来的jar包覆盖掉，重新运行就好了。

[root@gc jlib]# mv orahdfs.jar /opt/odch/orahdfs-2.0.0/jlib/

mv：是否覆盖“/opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar”? y

[root@gc jlib]# chown grid:hadoop /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

[root@gc jlib]# chmod 777 /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

[root@gc jlib]# ll /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

-rwxrwxrwx 1 grid hadoop 117405 11-29 09:46 /opt/odch/orahdfs-2.0.0/jlib/orahdfs.jar

eric_lee
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Oracle HDFS直接连接器（ODCH）
weixin_45368356的博客
08-30 368
实验 : 直接访问单个 HDFS 文件 步骤1: 配置操作系统的目录和数据库的Directory对象 步骤2: 创建外部表 步骤3: 在Hadoop中放入示例文件 步骤4: 生成“位置文件” 步骤5: 检查结果 步骤6: 改动HDFS文件，检查结果. 1、直接访问HDFS数据文件 Oracle的HDFS直接连接器允许从数据库中直接访问HDFS的数据文件。 支持的数据文件格式取决于O...
Hadoop-HDFS-基于Hadoop的hdfs-分布式文件系统架构
12-22
分布式文件系统架构，存放的是文件的数据信息和验证文件完整性的校验信息，心跳机制
hadoop学习之-使用ODCH工具实现oralce外部表访问HDFS数据文件
我思，故我在！--My data life
01-25 1万+
实验说明： 本实验目的是通过使用Oracle的HDFS直接连接器从oracle数据库的外部表中直接访问HDFS的数据文件。支持的数据文件格式取决于ORACLE_LOADER的驱动程序。   一、   安装准备 1.       软件下载： Oracle Big Data Connectors：ODCH http://www.oracle.com/technetwork/bdc/b
移动通信术语英文缩写对照
TXNMG的博客
10-22 5474
RC Radio Configuration 无线配置（指无线信道的工作模式，每种RC支持一套数据速率，不同RC物理信道的各种参数不同，包括调制特性和扩谱速率SR等，RC1、RC2即常说的速率集1、速率集2）CHM-95 Channel Processing Module for IS-95 信道处理模块，采用CSM1.5芯片，支持IS-95空中接口标准。
使用oracle的大数据工具ODCH访问HDFS数据文件
08-19 189
软件下载 Oracle Big Data Connectors：ODCH 下载地址： http://www.oracle.com/technetwork/bdc/big-data-connectors/downloads/index.html Jave SE 下载地址： http://www.oracle.com/technetwork/java/javase/downlo...
Oracle：IO异常 The Network Adapter could not establish the connection 的三种解决方法
瓦莉拉啦啦的博客
08-08 1万+
Io 异常 The Network Adapter could not establish the connection的三种解决方法
hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip
06-12
赠送jar包：hadoop-hdfs-client-2.9.1.jar； 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar； 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-client-2.9.1.pom；...
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
hadoop-hdfs-2.7.3-API文档-中英对照版.zip
04-20
赠送jar包：hadoop-hdfs-2.7.3.jar； 赠送原API文档：hadoop-hdfs-2.7.3-javadoc.jar； 赠送源代码：hadoop-hdfs-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-hdfs-2.7.3.pom； 包含翻译后的API文档：hadoop...
两种方法解决oracle developer显示 IO错误：The Network Adapter could not establish the connection解决办法
Ambitiouss的博客
01-21 2万+
如果你在developer里面远程连接别人的数据库也可以尝试这样解决，我的就是在远程别人的时候才发现有这个问题的（自己本地连没一点问题） 其实遇到这个问题，是我们的本地端口问题，安装Oracle系统默认给的是locahost,要改为你的真实本机ip就好了。 打开cmd 输入ipconfig 查看你的端口号，并记住。 下面我们就去给我们安装时有问题的的ip改掉，找到你的Oracle安装的目录，找到...
解决Oracle的状态: 失败 -测试失败: IO 错误: The Network Adapter could not establish the connection
程序猿追的博客
03-28 1万+
来自每日分享（本人亲测有效） 今天用Oracle SQL Developer去连接Oracle是发现连接不上，报了好几种错。eg： 状态: 失败 -测试失败: IO 错误: The Network Adapter could not establish the connection (CONNECTION_ID=eyxlDMR3TlOla7fPMxtClQ) 还有 状态: 失败 -测试失败: Listener refused the connection with the following error:
个人总结：oracle数据库监听服务启动不成功
热门推荐
hustwht的专栏
08-17 3万+
1。IP错误。 在设置URL时错误，例如：jdbc:oracle:thin:@192.168.0.36:1521:sharp 数据库服务器不正确：ping 服务器IP是否正确。不正确，将URL更改为正确 端口号错误：一般不会错误。 进行一下操作：在DOS上键入sqlplus，检查oracle是否开启 一却正常，执行下面第2步。 2。防火墙 如果机器上安装有放火墙，可能是服务器端口号屏蔽而造成的。关
Oracle外部表介绍.
mengxiangfeiyang的专栏
07-16 766
1.介绍 外部表只能在Oracle 9i之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。 2.特性 （1） 位于文件系统之中，按一定格式分割，如文本文件或者其他类型的表可以作为外部表。 （2） 对外部表的访问可
Greenplum(4.3.8.2)使用GPHDFS协议创建外部表访问CDH5.7.0环境的HDFS文件系统
DataFlow范式
06-30 1万+
本篇文章主要介绍使用Greenplum访问HDFS文件。 1.       环境CDH 5.7.0集成环境，其中Hadoop版本为2.6.0Greenplum版本为4.3.8.2 2.       安装部署第一步：所有segment，master和standby master节点都安装Java 1.6及以上版本(CDH5.7.0已经部署，略过) 第二步：安装GPDB(Greenplum Datab
Oracle连接hadoop(转)
Move Fast!
05-16 2062
  原文地址：http://blog.itpub.net/7607759/viewspace-761362/   一、ORACLE连接HADOOP(1) - 做些准备   二、ORACLE连接HADOOP(2) - HDFS专用SQL连接器ODCH  三、ORACLE连接HADOOP(3) - OLH加载HDFS数据    一、ORACLE连接HADOOP(1) - 做些准备   ...
hadoop的hdfs-site.xml文件
最新发布
05-16
Hadoop的hdfs-site.xml文件是Hadoop分布式文件系统（HDFS）的配置文件之一。它包含了HDFS的各种配置选项，例如数据块的大小、副本数量、数据节点的存储路径等。 下面是hdfs-site.xml文件的一个示例： ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.blocksize</name> <value>128M</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/hadoop/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/hadoop/hdfs/datanode</value> </property> </configuration> ``` 上述示例中，dfs.replication指定了数据块的副本数量为3，dfs.blocksize指定了数据块的大小为128M，dfs.namenode.name.dir指定了名字节点（NameNode）的存储路径，dfs.datanode.data.dir指定了数据节点（DataNode）的存储路径。 Hadoop集群的管理员可以根据需要修改hdfs-site.xml文件中的配置选项，以满足不同的需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值