大数据开发
文章平均质量分 66
hxtog
这个作者很懒,什么都没留下…
展开
-
编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0
文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0搭建过程参考网上各种教程,原创 2021-02-09 17:27:37 · 4198 阅读 · 3 评论 -
安装kafka2.7.0
说明记一次安装kafka记录, 内容参考: https://www.cnblogs.com/zhaoshizi/p/12154518.html什么是kafkaKafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。------ 来源百度百科下载kafka2.7.0下载页面https://kafka.apache.org/downloadsbash转载 2021-02-06 01:05:29 · 1723 阅读 · 0 评论 -
搭建Hive3.1.2 on Spark2.4.7单机环境
文章目录搭建Hive3.1.2 on Spark2.4.7单机环境先上本机运行情况准备工作安装Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive安装lib文件夹下删除spark下orc-core-1.5.5-nohive.jar文件启动hive on spark总结搭建Hive3.1.2 on Spark2.4.7单机环境搭建过程参考网上各种教程, 现在汇总下具体步骤内容。原创 2020-10-25 16:57:34 · 2448 阅读 · 3 评论 -
Ubuntu 20.04.1 LTS安装Hadoop3.3.0和hive3.1.2
大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1说明。环境准备电脑(虚拟机): Ubuntu20.04.1 LTS, 已安装open-jdk(1.8)Hadoop安装文件: hadoop-3.2.1.tar.gz 下载地址软件准备安装ssh-server:~$ sudo apt install openssh-server检查ssh是否安装成功:~$ ssh loc原创 2020-10-06 15:57:46 · 3402 阅读 · 0 评论 -
HIVE UDTF JAVA开发
1. Hive UDF编程继承GenericUDTF类 实现三个方法(initialize, process, 和 close) 结果写入forward方法2. 需实现的三个方法说明initialize方法说明: 用于校验输入参数类型, 指定输出结果类型.运行: 在单节点运行周期中内执行一次, 且是在最开始执行.两个initialize比较:StructObjectInspector initialize(StructObjectInspector argOIs)publi原创 2020-08-21 23:34:03 · 669 阅读 · 0 评论 -
HIVE UDF JAVA开发
1. Hive UDF编程继承GenericUDF类 实现三个方法(initialize, evaluate, 和getDisplayString) Description注解2. 需实现的三个方法说明initialize方法说明: 用于校验输入参数类型, 指定输出结果类型.运行: 在单节点运行周期中内执行一次, 且是在最开始执行.evaluate方法说明: 处理输入内容生成输出结果.运行: 在单节点运行周期中内执行多次, 执行次数与数据行数相等.getDisplayStr原创 2020-07-31 22:49:02 · 568 阅读 · 0 评论