hadoop
wppwpp1
这个作者很懒,什么都没留下…
展开
-
flink批量写入到hdfs上
import org.apache.flink.streaming.api.functions.source.SourceFunction/** * @Author: wpp * @Date: 2020/3/13 18:28 * */class MyNoParallelScala extends SourceFunction[String]{ var count=...原创 2020-03-20 19:00:54 · 2170 阅读 · 0 评论 -
windows10 hadoop安装
准备1、下载hadoop(自行到官网下载对应版本)2、安装了JDK(网上也有很多教程,自行查阅,也可以查看我另一篇文章:在Ubuntu14.04下配置Hadoop的两种模式:本地模式、伪分布模式)3、hadoop安装在Windows的工具,网上有很多,可自行查阅下载。 配置流程一、配置环...原创 2019-12-16 16:55:17 · 108 阅读 · 0 评论 -
SpringBoot连接Clickhouse
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...转载 2019-11-07 18:18:24 · 3313 阅读 · 0 评论 -
Spark无法读取hive 3.x的表数据
通过Ambari2.7.3安装HDP3.1.0成功之后,通过spark sql去查询hive表的数据发现竟然无法查询HDP3.0 集成了hive 3.0和 spark 2.3,然而spark却读取不了hive表的数据,准确来说是内表的数据。原因hive 3.0之后默认开启ACID功能,而且新建的表默认是ACID表。而spark目前还不支持hive的ACID功能,因此无法读取ACID表的数...转载 2019-10-14 11:43:11 · 200 阅读 · 0 评论 -
hive udf相关操作
1,在XXX服务器上传本地文件hiveUdf-1.1.1.jar到hdfs目录/hiveJar下, 这个可以永久使用hdfs dfs -put /opt/hiveUdf-0.0.1.jar /hiveJar2, 创建udf临时函数ADD jar hdfs:///hiveudf/hiveudf_2.5-jar-with-dependencies.jar;create tempor...原创 2019-10-10 14:40:04 · 233 阅读 · 0 评论 -
hive udf 写入到redis的Set 集合中
1,因业务需求,需要把hive的数据写入到reids的Set集合中,看网上都是写入到hash的实现,故自己写了一个写入Hash的实现2,需要的pom.xml文件<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...原创 2019-10-10 15:16:06 · 848 阅读 · 0 评论