gmHappy

从不敢夜郎自大,但也不至于妄自菲薄,只是想做一个靠本事吃饭的手艺人

Spark2.0基于广播变量broadcast实现实时数据按天统计

package com.gm.hive.SparkHive; import java.text.SimpleDateFormat; import java.util.Arrays; import java.util.Collection; import java.util.Date; impo...

2018-05-08 16:04:07

阅读数 2834

评论数 0

Sprak2.0 Streaming消费Kafka数据实时计算及运算结果保存数据库代码示例

package com.gm.hive.SparkHive; import java.util.Arrays; import java.util.Collection; import java.util.HashMap; import java.util.List; import java.ut...

2018-05-07 14:42:07

阅读数 2223

评论数 0

Spark2.0集成Hive操作的相关配置与注意事项

前言已完成安装Apache Hive,具体安装步骤请参照,Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作补充说明Hive中metastore(元数据存储)的三种方式:内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方式这个是Hive默认的启动模式...

2018-05-05 13:14:48

阅读数 2423

评论数 0

Spark集成Kafka实时流计算Java案例

package com.test; import java.util.*; import org.apache.spark.SparkConf; import org.apache.spark.TaskContext; import org.apache.spark.api.java.*; im...

2018-05-03 16:39:15

阅读数 2826

评论数 0

Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作

前言安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可,安装前需保证Hadoop已启(动文中用到了hadoop的hdfs命令)。关于如何安装Hadoop集群请参照:CentOS7搭建Hadoop2.8.0集群及基础操作与测...

2018-05-03 16:31:46

阅读数 1824

评论数 0

CentOS7搭建Storm集群及基础操作

前提安装Kafka前需要先安装zookeeper集群,集体安装方法请参照我的另一篇文档Storm安装下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar...

2018-04-25 17:45:09

阅读数 2168

评论数 0

Storm消费Kafka值得注意的坑

问题描述:  kafka是之前早就搭建好的,新建的storm集群要消费kafka的主题,由于kafka中已经记录了很多消息,storm消费时从最开始消费问题解决:  下面是摘自官网的一段话:How KafkaSpout stores offsets of a Kafka topic and rec...

2018-04-25 17:01:25

阅读数 4320

评论数 5

提示
确定要删除当前文章?
取消 删除