- 博客(4)
- 资源 (1)
- 收藏
- 关注
原创 SCALA HBase Utils 简单实现
工具或版本IDEA + HBase 2.1.10 集群 + Hadoop HA包依赖或资源文件依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase --> <dependency> <...
2020-04-21 00:00:03 423
原创 SCALA-Spark SQL 查询、输出demo
概要环境:intellij idea maven + hadoop haSpark初始化、JDBC连接定义Person Schema ,创建DataFrame, 数据结构化注册表,简单SQL查询操作输出结果:JSON 到 HDFS、JDBC的两种方式将结果写入MYSQL代码片段Spark初始化、JDBC连接 // HDFS开启了权限管理,设置用户名,避免HDFS读写权...
2020-04-19 10:53:05 1063
原创 Linux环境下使用oracle sqluldr2工具导出数据,导出失败且没有错误日志追踪问题
注:只适用ORA-24454导致的sqluldr2导出异常场景:某台服务器上部署了基于sqluldr2工具的采集脚本,定时从厂家oracle数据库采集数据,正常运行一段时间后发现异常,有以下表现:例如执行以下简单查询命令,并不是每次执行都可以正常返回,异常时没有任何错误日志跟踪sqluldr2 user=username/password@host:port/dbName quer...
2019-09-06 14:18:52 2377
原创 hive+sqoop jackson因版本不一致导致java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.ObjectMapper.
sqoop 版本:sqoop-1.4.7.bin__hadoop-2.6.0hive 版本:apache-hive-2.3.3-bin目的是将mysql 一张表结构及数据导入到 hive。执行语句如下:sqoop import --hive-import --connect jdbc:mysql://localhost:3306/test_db?createDatabaseIfNotExist=t...
2018-05-21 18:16:22 4133 3
sbt-1.3.4.msi.rar
2020-02-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人