- 博客(9)
- 收藏
- 关注
RSS订阅原创 Hive数据类型与分区分桶
1.Hive数据类型Hive支持原始数据类型和复杂类型，原始类型包括数值型，Boolean，字符串，时间戳。复杂类型包括数组，map，struct。下面是Hive数据类型的一个总结： 分类 类型 描述 示例 原始类型 BOOLEAN true/false ...
2020-01-19 17:24:48
406
原创 Hive安装
1.解压安装包安装包下载地址：http://archive.apache.org/dist/hive/tar -zxvf /opt/software/apache-hive-1.1.0-bin.tar.gz -C /usr/local/srcmv /usr/local/src/apache-hive-1.1.0-bin /usr/local/src/hive2.配置环境变量#hive...
2020-01-19 16:26:59
191
原创 Hive UDF的定义
最近在做案例的时候,发现有一个需要解析的字段,Hive中提供的内置函数解析不了.这时候只能自己定义Hive的内置函数了,顺便记录一下。一、什么是UDFUDF(User-Defined-Function) 函数其实就是一个简单的函数，执行过程就是在Hive转换成mapreduce程序后，执行java方法，类似于像Mapreduce执行过程中加入一个插件，方便扩展. UDF只能实现一进一出的操作...
2020-01-19 16:10:47
728
原创 Hive常用函数
1.数学函数1) 四舍五入取整 :round语法: round(double a)返回值: BIGINT说明: 返回double类型的整数值部分 （遵循四舍五入）hive> select round(8.243);OK8.0Time taken: 0.093 seconds, Fetched: 1 row(s)round 指定精度取整函数语法: round(doubl...
2020-01-19 15:54:57
1902
原创 将Tomcat与Zookeeper添加为系统服务
在/usr/lib/systemd/system/文件夹下创建一个启动脚本zookeeper.servicevi /usr/lib/systemd/system/zookeeper.service插入以下内容[Unit]Description=zookeeperAfter=syslog.target network.target[Service]Type=forkingEnv...
2020-01-15 17:32:58
495
原创 EditPlus编译运行Java和Scala
现在做Java开发,类似与Eclipse、MyEclipse、IDEA等这种支持开发的软件有很多,并且功能也很强大,可以自动补全代码,自动检测语法错误等,实乃吾等开发人员的福音。可是有时候想跑几行代码,进行一些小Demo的测试。这时候启动Eclipse、IDEA这些大型的软件的话,比较浪费时间,还得创建项目,创建包,创建类等这里给大家推荐一款文本编译器,通过简单的配置就可以编译Java和Scal...
2020-01-15 17:20:56
245
原创 Java读取Excel并转化为JavaBean工具类
首先，需要引入将java读取Excel的依赖包： <!--读取excel 转换为bean的依赖--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId&g...
2020-01-15 17:03:47
1756
原创 通过JAVA API远程操作HDFS文件系统工具类
通过JAVA API远程操作HDFS文件系统工具类package com.huatec.edu.cloud.hdata.core.ooziejob.utils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop...
2020-01-15 15:41:07
307
1
原创 Centos yum和pip下载离线安装包
有时候在内部环境中是没有外网的,可是却需要通过yum安装一些软件包。这时，我们挂载或者制作一个本地源就有点太浪费时间了，我们可以通过一个可以连接外网的环境将我们需要的安装包及一些依赖都拉取下来，然后上传内部环境中直接安装即可。1.yum下载离线安装包首先，需要一台可以连接外网的主机（虚拟机），安装CentOS系统。切记，一定要是最小安装（mini版），如果用其他安装，则有可能会出现依赖下载...
2020-01-15 15:25:17
1545
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人