Ambari WEB UI 上传UDF并在Hive View中使用

最新推荐文章于 2021-11-04 20:36:14 发布
最新推荐文章于 2021-11-04 20:36:14 发布
阅读量390 收藏
点赞数
文章标签： 大数据 ui python
原文链接：https://my.oschina.net/aubao/blog/3095419
版权

Hive自身查询语言HQL拥有丰富的函数，能满足大部分的统计分析需求，但遇到特殊需求时，还是须要自己写UDF实现。UDF是User Defined Function的简写，意思是用户自定义函数。本文主要介绍如何在Ambari WEB UI上上传及使用UDF，至于如何编写UDF可以参考这篇文章 guide-to-writing-hive-udfs，相应的代码在hive-extension-examples。下面进入正题。

  1. 在Files View上传jar包到hdfs文件目录下
    2d1dc430b5c583252304a5e3f7284c39b3c.jpg
    e5022f882aa082263a87384ff7d89b7e9c1.jpg 
  2. 在Hive View添加udf
    160b90f52ae58c1ed70412222bf555b18b1.jpg
    单击New UDF，在Select File Resource下拉框里选择Add new item,填写相应的udf信息并保存
    7b2354e224bd1fb65ddac52d5183ea177ef.jpg
    9c2502ee70bb36a826534da7ec11e19a371.jpg
  3. Hive View中加载udf并使用
    1e7624b6dda837f2b2dd90d8e6dd41985b2.jpg
    2d745425b6d17e5cf2d517d554658a48d44.jpg
  4. python 编写的udf
    和以上加载jar包的步骤类似，只是改成把python文件上传到对应的hdfs目录，然后在Hive View里面加载即可。
    32f5f2fc59a38b2ba24ceede72b896e8f83.jpg

转载于:https://my.oschina.net/aubao/blog/3095419

chenjun1643
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ambari hive mysql_基于Ambari的WebUI部署Hive服务
weixin_42298645的博客
01-26 481
基于Ambari的WebUI部署Hive服务作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一.部署Ambari服务博主推荐阅读:https://www.cnblogs.com/yinzhengjie2020/p/12227503.html二.创建Hive的元数据信息1>.MySQL 8.x以上版本需要确认的配置文件密码策略[root@hdp101.yinzhengjie.or...
Hive UI 界面的访问方法
妙妙的博客
12-13 8598
环境：hdp 2.4hdp 2.4 对应的hive版本是1.2.1如果是hdp 2.4 以及以下的版本，可以参考HDP2.4 及以下各组件版本安装Hive hwi 的方法：1. 下载源代码，根据自己的hive版本下载 http://archive.apache.org/dist/hive/apache-hive-1.2.1-src.tar.gz2. 解压后将 ./hwi/web/ 目录打包成 hiv
ambari hive创建udf失败问题解决
LZX的博客
06-02 1940
问题描述： Amabri 2.7.4 hive 3.1.0 hive Authorization用了默认 ，试过sqlstdauth也报错 hive执行添加udf命令报错 Error: Error while compiling statement:FAILED: HiveAccessControlException Permission denied: Principal [name=root,type=USER] does not have following privileges for opera
HIVE自定义UDF函数详解
汝知否
11-12 2111
当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF分如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出(一个输入对应一个输出)。 用户定义聚集函数UDAF（User-Defined Aggregating Functions），用于接受多个输入数据行，并产生一个输出数据行(多个输入对应一个输出)。 用户定义表生成函数UDTF(User-D
Ambari 使用 Hive View 异常处理：Service 'userhome' check failed: File does not exist: /user/admin
qq_21153619的博客
12-27 1459
进入Hive View客户端的时候报这个错误：Service 'userhome' check failed: File does not exist: /user/admin 查看目录结构 hdfs dfs -ls /user 发现没有admin目录，自己创建一个   su hdfs hdfs dfs  -mkdir /user/admin hdfs dfs  -chown a...
Ambari 使用 Hive View 异常处理
zsj777的专栏
06-02 1536
异常：进入Hive View提示user home check fail 详细日志：Service 'userhome' check failed: java.io.FileNotFoundException: File does not exist: /user/admin处理方式：查看目录结构 hdfs dfs -ls /user 发现没有admin目录，自己创建一个su hdfshdfs d...
Ambari下Hive3.0升级到Hive4.0
03-25
4. **配置更新**：在 Ambari 管理界面中，选择 Hive 服务并查看配置变更。Hive 4.0 可能引入了新的配置选项，或者修改了某些默认值。根据官方文档调整相关配置，确保新旧版本之间的平滑过渡。 5. **元数据迁移**：...
ambari-webpage-embedder-view:允许包装现有的WebUI页面并将其显示为Ambari视图
05-15
Ambari网页嵌入器视图 此插件有助于在Ambari中显示外部网页内容。 作为插件实现，它使用来将网页内容作为视图内联。 安装后， Ambari Webpage Embedder View可用于嵌入多个网页。 只需为每个新网页创建一个新的视图...
Flink+SQL集成Ambari,实现Mongo到Hive的数据同步.doc
最新发布
03-06
Flink+SQL集成Ambari,实现Mongo到Hive的数据同步
ambari-web:自定义ambari-web样式
05-06
在Ambari-web中，找到相关的CSS文件，例如`stylesheets`目录下的文件，然后根据需求进行调整。 3. **JavaScript和jQuery**： Ambari-web可能使用了JavaScript库，如jQuery，来处理用户交互和动态更新页面。如果你...
servlet-view-example:提交 Hive 查询的 Ambari 视图示例
07-09
一个带有简单 UI 和支持 Java Servlet 的 Ambari 视图示例，用于执行 Hive 查询和查看结果。 ![Hive 查询视图](/sshots/hive query.png?raw=true) ![Hive 结果视图](/sshots/hive results.png?raw=true) 要安装...
Ambari Views的自定义
weixin_34310369的博客
10-10 442
下载ambari源码， ambari-views/examples/ 下面有很多例子，直接编译是不会成功的， 因为每一个例子项目都需要一个依赖 <dependency> <groupId>org.apache.ambari</groupId> <artifactId>ambari-views</a...
Ambari web界面下HDP集群管理
betty_ru的博客
07-17 3033
1.File View使用       File View可查看hadoop集群环境的所有文档。 选择右侧标题栏中，Admin右侧的Files View: File View做file使用的基本检测： 成功后，File View就可以使用了，如下图所示：   2.HiveView使用       HiveView可查看hive数据仓库的所有数据库和表，并能使用sql语...
Ambari安装Hive组件
weixin_43943841的博客
01-06 3424
1.建新目录/path/to/mysql/，mkdir -p /path/to/mysql 2.把之前用于安装Ambari所需要的MySQL JDBC驱动jar包放在新目录里，名称改为mysql-connector-java.jar；如果是用Linux的命令来在线安装JDBC驱动(ubuntu的apt-get install或centos的yum install)的，下载的驱动jar包是位于/us...
Ambari平台安装Hive，并配置Hive的元数据存储在mysql
小哇
09-22 1036
由于Ambari不允许将hive元数据安装在 master主机，所以这里将mysql装在 slave1节点上 1.创建 Hive 所需的 MySQL 资源 在 MySQL 里单独为 Hive 创建hive用户,密码 hive%123,和数据库以便于管理：在 slave1 上，进入 MySQL 的命令行 mysql -uroot -p 然后执行如下命令： set global validate_password_policy=0; set global validate_password_mixed_ca
ambari-web/admin 前端二次开发
CREATE_17的博客
11-13 3047
一、Ambari-web二次开发 ambari-web可以单独编译，用来修改ambari UI页面。采用ember.js（版本：v1.0.pre）作为前端MVC框架和NodeJS相关工具，用handlebars.js作为页面渲染引擎，在CSS/HTML方面还用了Bootstrap（v2.1.1）框架。 Ambari-web目录结构： 目录或文件 描述 app/ 主要应用程序代码。包...
hive的3种自定义函数
Aidon博客
04-21 8315
hive自定义函数 1 自定义函数 1.1 为什么需要自定义函数 hive的内置函数满足不了所有的业务需求。 hive提供很多的模块可以自定义功能，比如：自定义函数、serde、输入输出格式等。 1.2 常见自定义函数有哪些 UDF：用户自定义函数，user defined function。一对一的输入输出。（最常用的）。 UDTF：用户自定义表生成函数。user defined table...
Ambari2.7.3自定义安装Ambari-Doris-Service
寻找手艺人的专栏
11-04 1316
1.背景 通过Ambari，来安装和管理HDP集群上的Doris。 这个ambari doris stacks有3个角色，DORIS_FE\FE_Observer\DORIS_BE, doris包的名字是doris-0.14.0-release.tar.gz，树路径如下: doris-0.14.0-release ├── be │ ├── bin │ │ ├── start_be.sh │ │ └── stop_be.sh │ ├── conf │ │ ├── be.conf │ │ └── odbcins
Hortonwork Ambari配置Hive集成Hbase的java开发maven配置
weixin_30908649的博客
10-17 285
集群环境 ambari 2.7.3 hdp/hortonwork 2.6.0.3 maven 1 <dependency> 2 <groupId>org.apache.hive</groupId> 3 <artifactId>hive-jdbc</artifactId> 4 ...
Ambari Web使用手册
06-13
在Ambari Web中，可以通过“Cluster”选项卡管理集群。在该选项卡中，可以查看集群的总体概况、节点列表、服务列表等信息。可以通过该选项卡来启动、停止、重启集群中的服务。 3. 服务管理 在Ambari Web中，可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值