- 博客(4)
- 收藏
- 关注
RSS订阅原创 UDF函数进行大批量数据处理，将hive中数据string类型转为data类型
数据来源于区域轨道交通AFC数据，暂时采用一个月数据做测试，大约2.4G，使用UDF函数非常方便快速。在idea里编写一个自定义UDF程序实现时间格式转换，部分代码如下所需的UDF依赖包：hive.exec.*.jar（在 hive/lib 目录下）程序要继承 UDF，作为UDF的子类定义的方法名一定只能是evaluate输入与输出的时间格式 ：月份要大写MM 小时也要大写 HH否则...
2019-12-11 11:29:30
728
原创 伪分布式下hive配置并用beeline远程连接
搭建hive用的是hive3.2.1，hadoop3.2.1，所用的环境是操作系统 Linux Ubuntu16.04(64位)，需要的安装包jdk-8u211-linux-x64-tar.gz Hadoop-3.1.2.tar.gz apache-hive-3.1.2-bin.tar.gz)， mysql（5.7.27，系统里自带有MySQL的安装包，不用自己下载）将jdk，hadoop，...
2019-11-15 13:27:54
661
原创 navicat 12 for oracle连接本地数据库报错ORA-28009：connection as SYS should be as SYSDBA OR SYSOPER解决方法
之前连接没有问题，但是我的navicat过期后再激活连接数据库就不能连接，出现ORA-28009的错误，找了很久不知道怎么回事，最后通过看一些博客找到了解决方法。1 找到Oracle的安装目录我的安装目录是：F:\app\jenni\product\11.2.0\dbhome_1\NETWORK\ADMIN找到这两个文件查看里面的host名，把host=后面的改成自己的计算机名或者loca...
2019-09-24 15:32:00
4942
原创 使用sqlloader传海量数据到远程Oracle数据库
1.数据与准备材料一份12g数据，数据导入远程oracle前提是本地必须装有Oracle客户端。本人使用Oracle版本：Oracle11g。2.编写文件将原始数据改为.txt文件，比如“201809.txt”编写控制文件.ctlload datainfile "201809.txt"append into table SCOTT.CESHI_COPYfields termin...
2019-08-30 13:47:08
639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人