- 博客(3)
- 收藏
- 关注
RSS订阅原创 记录oracle回写的几个解决方案
由于用的是spark1.5.1的版本，出现诸多想不到的bug，记录下来，供大家参考。首先说下我们的需求，是将hive的表进行回写入oracle，必须使用sparksql这种形式，所以就不考虑sqoop，集群的大数据平台没有sqoop组件。必须按照一定的数据格式精准输出，从oracle跑数时用的什么类型，最后回到oracle是什么类型，并且精度是一致的。 由于大数据平台hive中，将date也...
2018-04-25 18:10:46
1157
原创 记录使用sparksql 写txt，csv等问题
由于是在内网工作无法截图，只是文字记录，见谅！1.生成csv的方法 由于sparksql 1.5的版本导致很多函数是有bug的，经过多次尝试以下是生成csv的正确方法。 mave加入一个特殊的jar包<groupId>com.databricks</groupId><artifactId>spark-csv_2.10</artifact...
2018-04-11 18:54:51
4148
原创 关于sparksql使用hive读写oracale相关操作
在本人项目中涉及到spark相关读写问题，实际上我们项目做的是一个利用sparksql提高传统业务数据的流转速度的项目，使用hive中的数据并利用spark计算将数据回写入oracle。 本人使用的是spark 1.5的版本，内网操作，无法升级。 记录以下问题 1.使用oracle的原数据进行读，写入hive表 val conf=new SparkConf().setMaster(“loc...
2018-04-10 14:22:48
609
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人