- 博客(7)
- 收藏
- 关注
RSS订阅原创 编译Spark3.1.0并集成hive3.1.2和hadoop3.3.0
文章目录编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0先上本机运行情况准备工作编译Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive目录lib文件夹删除spark下orc-core-1.5.5-nohive.jar文件启动Hive on Spark总结编译Spark2.4.7并集成hive3.1.2和hadoop3.3.0搭建过程参考网上各种教程,
2021-02-09 17:27:37
4245
3
转载 安装kafka2.7.0
说明记一次安装kafka记录, 内容参考: https://www.cnblogs.com/zhaoshizi/p/12154518.html什么是kafkaKafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。------ 来源百度百科下载kafka2.7.0下载页面https://kafka.apache.org/downloadsbash
2021-02-06 01:05:29
1750
原创 搭建Hive3.1.2 on Spark2.4.7单机环境
文章目录搭建Hive3.1.2 on Spark2.4.7单机环境先上本机运行情况准备工作安装Spark配置Spark配置spark-env.sh配置spark-default.conf启动Spark集成Hive3.1.2修改hive-site.xml复制jar包到hive安装lib文件夹下删除spark下orc-core-1.5.5-nohive.jar文件启动hive on spark总结搭建Hive3.1.2 on Spark2.4.7单机环境搭建过程参考网上各种教程, 现在汇总下具体步骤内容。
2020-10-25 16:57:34
2472
3
原创 Ubuntu 20.04.1 LTS安装Hadoop3.3.0和hive3.1.2
大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1大数据学习之路之基于Ubuntu20.04.1 LTS安装 Hadoop3.2.1说明。环境准备电脑(虚拟机): Ubuntu20.04.1 LTS, 已安装open-jdk(1.8)Hadoop安装文件: hadoop-3.2.1.tar.gz 下载地址软件准备安装ssh-server:~$ sudo apt install openssh-server检查ssh是否安装成功:~$ ssh loc
2020-10-06 15:57:46
3435
转载 在线正则表达式检查
在线正则表达式检查的几个链接:1.https://regexper.com/#2.https://www.debuggex.com/3.https://jex.im/regulex/#!flags=&re=4.https://regex101.com/5.https://tool.oschina.net/regex/
2020-09-05 00:40:35
217
原创 HIVE UDTF JAVA开发
1. Hive UDF编程继承GenericUDTF类 实现三个方法(initialize, process, 和 close) 结果写入forward方法2. 需实现的三个方法说明initialize方法说明: 用于校验输入参数类型, 指定输出结果类型.运行: 在单节点运行周期中内执行一次, 且是在最开始执行.两个initialize比较:StructObjectInspector initialize(StructObjectInspector argOIs)publi
2020-08-21 23:34:03
700
原创 HIVE UDF JAVA开发
1. Hive UDF编程继承GenericUDF类 实现三个方法(initialize, evaluate, 和getDisplayString) Description注解2. 需实现的三个方法说明initialize方法说明: 用于校验输入参数类型, 指定输出结果类型.运行: 在单节点运行周期中内执行一次, 且是在最开始执行.evaluate方法说明: 处理输入内容生成输出结果.运行: 在单节点运行周期中内执行多次, 执行次数与数据行数相等.getDisplayStr
2020-07-31 22:49:02
588
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人