kafka集群搭建

一、前提准备 笔者在这里的使用版本,仅供参考 名称 版本 地址 zookeeper 3.4.12 zookeeper官网下载地址 kafka 1.1.0 kafka官网下载地址 主要配置信息如下(这里的zookeeper集群是之前...

2018-07-16 21:28:53

阅读数 673

评论数 0

Kafka+Spark streaming读取数据存hdfs

待更新

2018-07-05 08:30:24

阅读数 3948

评论数 3

spark streaming + kafka 找不到kafkaUtils类

maven构建streaming+kafka的项目问题:运行项目报找不到KafkaUtils类:(如下图)于是我打开idea但确实可以找到这个包下的KafkaUtils类,刚开始以为打包的问题,找半天都没错,上网说可能是scala和kafka版本的冲突,但是我检查了一遍都没问题,版本不冲突spar...

2018-07-03 07:51:38

阅读数 2051

评论数 0

kafka版本1.1.0 javaAPI实现生产者、消费者

一、环境准备:1、maven工程中引入依赖: <dependency> <groupId>org.apache.kafka</groupId> ...

2018-06-19 22:14:45

阅读数 3115

评论数 0

spark 自定义排序

spark 自定义排序一、为什么要自定义排序?在spark中,利用rdd的sortBy函数进行排序,我们只能单一对某个元素,然而这并不能解决工作中的实际业务,所以今天整理一个简单自定义的排序,类解决这个问题。二、定义要素1、定义一个类,继承Ordered2、实现Serializable序列化3、重...

2018-06-04 22:03:39

阅读数 381

评论数 0

sparkRDD高级算子 combineByKey函数详解

combineByKey

2018-05-30 07:54:58

阅读数 156

评论数 0

hadoop集群分布式搭建以及环境配置

一、前期环境准备 操作系统CentOS 7 四台虚拟机:(克隆最小安装版本的虚拟机)       master 192.168.174.110 主机datanode1 192.168.174.111 子机datanode2 192.168.174.112 子机 datanode3 192....

2018-02-03 00:10:29

阅读数 170

评论数 0

主机navicat连接虚拟机linux出现错误代码:10038

问题: 错误信息:Can't connect to MySQL server on 'xxxxx'(10038)   解决方法: 查看网络的端口信息: netstat -ntpl 查看防火墙的状态,发现3306的端口是丢弃状态: iptables -vnL 这里要清除防火墙中链...

2018-01-22 14:04:26

阅读数 985

评论数 0

linux环境下安装配置tomcat

一、前期环境准备: 利用Xshell工具安装jdk,Xshell如何安装?可以参照我的:Xshell配置连接虚拟机 tomcat下载地址:tomcat下载 二、安装: 在 /usr/local 下创建一个tomcat的文件夹,如下图所示:   使用Xshell把tomcat安装...

2018-01-19 15:52:34

阅读数 112

评论数 0

linux环境下安装配置maven

一、前期环境准备: 利用Xshell工具安装jdk,Xshell如何安装?可以参照我的:Xshell配置连接虚拟机 maven下载地址:maven下载 二、安装 在 /usr/local 下创建一个maven的文件夹,如下图所示: 使用Xshell把maven安装包上传到/usr...

2018-01-19 12:42:39

阅读数 674

评论数 0

linux环境下安装配置jdk1.8

一、前期环境准备 利用Xshell工具安装jdk,Xshell如何安装?可以参照我的:Xshell配置连接虚拟机 jdk下载地址(oracle官网):jdk下载 二、安装 1、xshell打开下载文件 rz  命令找到并打开下载的jdk文件 先为文件赋予执行的权限 chmod...

2018-01-18 17:50:21

阅读数 2254

评论数 0

本地主机Xshell连接虚拟机Linux CentOS

一、前期环境准备: 在虚拟机安装Linux系统,并安装CentOS。笔者在这里的镜像为CentOS7 Xshell下载地址:http://rj.baidu.com/soft/detail/15201.html?ald 二、配置信息如下: 安装完CentOS 7,虚拟机的IP都是默认动态的。...

2018-01-17 15:38:53

阅读数 8094

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭