写一个Spark DataSource的随手笔记

最新推荐文章于 2023-03-19 00:49:28 发布

orisonchan

最新推荐文章于 2023-03-19 00:49:28 发布

阅读量417

点赞数

分类专栏：随笔手记 Spark Oracle 文章标签： Spark Oracle

本文链接：https://blog.csdn.net/orisonchan/article/details/81545849

版权

13 篇文章 0 订阅

订阅专栏

4 篇文章 1 订阅

订阅专栏

1 篇文章 0 订阅

订阅专栏

真的只是个随手笔记。记录下一些操作过程。

最近需要实现一些Spark逻辑计划和物理计划的优化，遂打算写一点简单的数据源来测试。突然想到了Oracle常见的scott/tiger里的数据。遂打算使用该数据。

毕竟装Oracle是个大工程，没有必要为了做个测试单独安装一个Oracle，于是用Docker，这里推荐一下阿里的Docker Oracle镜像库：

按照其方式启动Oracle镜像并sqlplus登录sysdba以后，为了确保scott/tiger没有被锁，还是做了一下解锁操作：

SQL> alter user scott account unlock;

然后退出sqlplus并用scott/tiger重新登录sysdba，并且查看scott的表：

SQL> select table_name from user_tables;

TABLE_NAME
------------------------------
DEPT
EMP
BONUS
SALGRADE

没有问题。

在此只做一些简单的测试，所以并没有使用jdbc方式在test类里获取数据，而是直接拿了一些数据hard code在test类里。

实现了简单的谓词下推功能。详细Datasource代码见GitHub，里面还包含了一个tpc-ds的DataSource：

关注

专栏目录