![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
大数据
YINZONGCHAO
这个作者很懒,什么都没留下…
展开
-
hive中 udf函数Function开发
1、下载需要的jar包,创建maven工程,配置相关的pom文件2、编写java继承UDF类 方法名必须为evaluate() import java.util.List;import org.apache.hadoop.hive.ql.exec.UDF;import com.ecs.accounts.bean.ChargePartyBean;import com.e原创 2017-07-12 17:15:34 · 381 阅读 · 0 评论 -
hive中UDF和UDAF使用说明
博客分类:hive Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括:a)文件格式:Text File,Sequence Fileb转载 2017-06-26 11:54:52 · 370 阅读 · 0 评论 -
spark将数据写入hbase以及从hbase读取数据
本文将介绍1、spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入hbase2、spark从hbase中读取数据并转化为RDD操作方式为在eclipse本地运行spark连接到远程的hbase。java版本:1.7.0scala版本:2.10.4zookeeper版本:3.4.5(禁用了hbase自转载 2017-03-28 15:41:56 · 10589 阅读 · 2 评论