自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

留歌__36的博客

技术改变生活

原创 Spark大数据相关经典面试题总结 【一直更新...】

想问一个问题:Spark Streaming 如何保证有序消费 kafka数据?topic多分区 如果是全局有序 kafka只有在单partition才生效,多partitions不支持全局有序,或者比较难; 如果是局部有序 可以利用 相同的key映射到同一个partition的特点 保证 k...

2019-08-14 11:46:42

阅读数 92

评论数 0

原创 Java进阶【有空常翻出来看看】

Java 基本数据类型存储位置 https://blog.csdn.net/ncuzengxiebo/article/details/83745065 java堆、栈、堆栈的区别 https://www.cnblogs.com/iliuyuet/p/5603618.html

2019-08-06 10:46:11

阅读数 63

评论数 0

原创 基于Spark的电影推荐系统(实战简介)

写在前面 一直不知道这个专栏该如何开始写,思来想去,还是暂时把自己对这个项目的一些想法 和大家分享 的形式来展现。有什么问题,欢迎大家一起留言讨论。 这个项目的源代码是在https://github.com/LuckyZXL2016/Movie_Recommend这个位置。 基于源代码做了一...

2019-01-10 16:53:08

阅读数 1027

评论数 0

4小时使用SpringCloud框架实现慕课网主页后端开发 【视频笔记+心得 】

写在前面 本文主要是在慕课上学习课程的笔记和一些自己的心得。虽然是4h的课程,但是自己花费了10多个小时。基本把视频刷了2遍。老师讲得确实还可以,如果你时间充裕,建议你先去看视频,再来看本文,可能效果更好。 有任何问题欢迎留言交流~~ 开始吧 ...

2019-09-29 12:03:20

阅读数 6

评论数 0

原创 Kafka系列三之单节点多Broker部署

写在前面 很早之前写过单节点单Broker部署,今天有空来简单快速记录一下多Broker的部署方式。其实基本也是差不多的操作。 单节点单Broker部署及部署:仅有一台机器仅有一个kafka进程 单节点多Broker部署及部署:仅有一台机器有多个kafka进程 √本文...

2019-09-29 11:46:57

阅读数 4

评论数 0

原创 Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理

写在前面 前段时间在实时获取SQLServer数据库变化时候,整个过程可谓是坎坷。然后就想在这里记录一下。 在处理实时数据时,需要即时地获得数据库表中数据的变化,然后将数据变化发送到Kafka中。这篇文章将介绍如何使用Kafka Connector完成这一工作。 ...

2019-09-29 11:10:50

阅读数 47

评论数 5

原创 Caused by: org.apache.kudu.client.NoLeaderFoundException

写在前面 在我使用spark对接kudu的过程中,出现如下错误: Caused by: org.apache.kudu.client.NoLeaderFoundException: Master config (192.168.1.117:7051) has no leader. Exceptio...

2019-09-25 17:03:11

阅读数 6

评论数 0

原创 MySQL binlog浅析

MySQL binlog 1.概要 MySQL 的二进制日志binlog 可以说是MySQL最重要的日志 它记录了所有的DDL 和DML 语句(除了select) 以事件的形式记录 还包含语句所执行所消耗的时间 其中MySQL 的二进制日志是事务安全的 DDL ,主要有CREATE ALTER D...

2019-09-25 16:31:16

阅读数 9

评论数 0

原创 Kudu单机安装 【很简单】

0.下载rpm包 地址:http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.15.0/RPMS/x86_64 package: kudu-1.7.0+cdh5.15.0+0-1.cdh5.15.0.p0.52.el7.x86_64.rpm ...

2019-09-25 15:32:01

阅读数 31

评论数 0

原创 mybatis-plus坑之insert方法

写在前面 有天早上我的一个同事,突然跑来告诉我。我们某张表的自增ID变得很大。类似1173776258468638722 这种。这个当然是不能接受的啊。 着手解决 然后就开始找问题的原因,一开始我想的是数据库上的问题,我删掉不合理的数据, alter table *** AUTO_INCREMEN...

2019-09-17 10:06:21

阅读数 35

评论数 0

原创 统一元数据管理 【SpringBoot+Java+Scala】

项目开发流程 统一元数据管理的重要性 目前集群上总的数据量是多少? 集群上的每张表有几个分区?每个分区所占大小?每个分区有多少记录? 每张表有哪些字段?哪些字段使用比较热?热表?热字段? 表之间的血缘关系?表可能是从其余表转换来的! 正式开始 步骤一:新建一个SpringBoot项目,先添加...

2019-09-16 23:15:17

阅读数 24

评论数 0

原创 有趣的隐式转换【scala】

写在前面 好久没有更新文章了,今天简单写写源于scala中比较有意思的隐式转换。 在java中,我们如果需要为某个特定的类新增一个方法,即:功能增强,大致有几种方式: 继承 装饰器 代理(静态动态) 那么,在scala中,这个就可以使用隐式转换来达到。 隐式转换: 大致就是为类添加新方法,大致...

2019-09-16 12:45:55

阅读数 11

评论数 0

原创 JVM Run-Time Data Areas & 参数相关

运行时数据区: Run-Time Data Areas 1)The pc Register 2)Java Virtual Machine Stacks 3)Heap 4)Method Area 5)Run-Time Constant Pool 6)Native Method Stacks 运行时数...

2019-09-05 23:21:13

阅读数 23

评论数 0

原创 MySQL ==> Maxwell ==> Kafka ==> Spark

MySQL --> 中间件 maxwell 【json】 /canal --> Kafka --> ? -->存储Hbase/kudu/Cassandra json --> DF 初始化的全量数据 怎么刷?boot...

2019-08-23 09:16:42

阅读数 43

评论数 0

原创 HBase 基本操作

/** * 基本操作: * hbase shell 进入hbase console命令 * whoami 查用户 * help查看基本命令集合 * help comma...

2019-08-17 16:29:34

阅读数 69

评论数 0

原创 Spark Streaming 整合Kafka的 Offset 管理 【数据零丢失之 checkpoint 方式管理Offset】

import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.st...

2019-08-16 16:33:01

阅读数 76

评论数 0

原创 数据零丢失 + 仅一次消费数据【终极方案】

import java.sql.{DriverManager, ResultSet} import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.Str...

2019-08-16 16:27:34

阅读数 96

评论数 0

原创 Spark Streaming 整合Kafka的 Offset 管理 【数据零丢失之 MySQL管理Offset】

写在前面: 在使用SparkStreaming 整合 Kafka 0.8版本的时候, spark-streaming-kafka-0-8 是不提供offset的管理的。为了保证数据零丢失,我们需要自己来管理这个偏移量。 参照:http://spark.apache.org/docs/latest/...

2019-08-09 10:20:28

阅读数 81

评论数 0

原创 InfuxDB 时序数据库入门+influxdb-java

写在前面 时序数据库,数据过来能够一直写,influxdb会自动打上一个时间戳【毫秒级别】 安装:直接按照官网即可 https://docs.influxdata.com/influxdb/v1.7/introduction/installation/ Getting started with I...

2019-08-07 13:35:45

阅读数 62

评论数 0

原创 Connection to node 0 could not be established. Broker may not be available.

在用SparkStreaming对接Kafka的过程中,遇到上面的问题。 大概就是说,无法连接到Kafka,这样Broker就不能得到了。 解决: 1.看你的对接的kafka机器的9092端口是否被放出来 2.你启动的kafka(Broker)参数/配置文件 listeners=PLAINTEXT...

2019-08-07 11:40:48

阅读数 127

评论数 0

提示
确定要删除当前文章?
取消 删除