- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 SCALA HBase Utils 简单实现
工具或版本IDEA + HBase 2.1.10 集群 + Hadoop HA包依赖或资源文件依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase --> <dependency> <...
2020-04-21 00:00:03
407
原创 SCALA-Spark SQL 查询、输出demo
概要环境：intellij idea maven + hadoop haSpark初始化、JDBC连接定义Person Schema ，创建DataFrame， 数据结构化注册表，简单SQL查询操作输出结果：JSON 到 HDFS、JDBC的两种方式将结果写入MYSQL代码片段Spark初始化、JDBC连接 // HDFS开启了权限管理，设置用户名，避免HDFS读写权...
2020-04-19 10:53:05
1026
原创 Linux环境下使用oracle sqluldr2工具导出数据，导出失败且没有错误日志追踪问题
注：只适用ORA-24454导致的sqluldr2导出异常场景:某台服务器上部署了基于sqluldr2工具的采集脚本，定时从厂家oracle数据库采集数据，正常运行一段时间后发现异常，有以下表现：例如执行以下简单查询命令，并不是每次执行都可以正常返回，异常时没有任何错误日志跟踪sqluldr2 user=username/password@host:port/dbName quer...
2019-09-06 14:18:52
2327
原创 hive+sqoop jackson因版本不一致导致java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.ObjectMapper.
sqoop 版本：sqoop-1.4.7.bin__hadoop-2.6.0hive 版本：apache-hive-2.3.3-bin目的是将mysql 一张表结构及数据导入到 hive。执行语句如下：sqoop import --hive-import --connect jdbc:mysql://localhost:3306/test_db?createDatabaseIfNotExist=t...
2018-05-21 18:16:22
4074
3
sbt-1.3.4.msi.rar
2020-02-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人