自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

静待花开

时光不语,静待花开。心平气和,淡泊流年。

  • 博客(166)
  • 资源 (42)
  • 论坛 (6)
  • 问答 (1)
  • 收藏
  • 关注

原创 最清晰易懂的Elasticsearch操作手册|收藏夹必备
原力计划

本文围绕ES最新版本,从常用基础操作、DSL查询、聚合查询、批量操作,实用技巧等方面进行了详细的举例解析,并对读者可能出现的疑惑进行了标红总结,并对需要注意的地方也进行了单独的声明。

2020-06-18 16:16:00 8988 116

原创 0、展望---Flink 1.9版本变化及新特性

一、背景及概览阿里内部版本Blink首次合并入Flink,并于2019年8月22日,正式发布Apache Flink 1.9.0 版本。更新概述:架构升级新功能和改进细粒度批作业恢复 (FLIP-1)State Processor API (FLIP-43)Stop-with-Savepoint (FLIP-34)新 Blink SQL 查询处理器预览Table API /...

2019-12-31 19:57:33 1747 3

原创 Flink SQL中使用异步io关联维表

当前社区对Flink SQL中使用异步io关联维表的进展。

2021-12-01 15:13:57 4

原创 零拷贝技术原理分析

轻松掌握Netty、Kafka、RocketMQ高效率读写的核心秘诀--零拷贝技术

2021-04-25 11:53:50 310 1

原创 Flink限流数据、内存预测、slot资源隔离解决方案

本文围绕Flink端应该怎样进行数据限流,以及Flink任务的内存预测和slot资源隔离是否真的隔离了内存进行了深入的探讨。

2020-10-24 20:18:27 1806 4

原创 深入分析Kafka工作流程、存储机制、分区策略

kafka主要应用在大数据的实时处理领域,使用起来比较简单,本文主要分析kafka的工作流程、存储机制,分区策略,并围绕多个角度展开总结。

2020-10-24 20:13:13 3614 7

原创 FlinkSQL怎么查找到要执行的代码

在写flink sql的时候不知道大家是否会有一个疑问:咱们创建的flink sql是怎么找到它要执行的java代码在哪的呢?flink sql里也没有声明位置呀。

2020-07-17 11:30:29 1354 1

原创 Flink SQL如何保证分topic有序

在做实时数仓的时候,我们需要保证提高消费能力和数据有序,那如果要用Flink sql 和 Kafka交互时,我们该怎么设置并行度和自定义分区呢?

2020-07-17 10:38:17 2012 37

原创 ElasticSearch中文分词,看这一篇就够了
原力计划

本文我们围绕Elasticsearch的分词器,从内置分词器的局限性出发,引出了中文分词器,然后详细介绍了ik分词器的编译,安装配置和使用。

2020-06-03 16:09:11 19290 96

原创 ElasticSearch最新版快速入门详解
原力计划

本文把最新版的ElasticSearch和kibana的知识点用通俗易懂的语言来展现,并会在核心概念上和MySql对比,结合示例进行图文并茂的详解,同时还给大家提供百分百成功的极速安装配置方法哦!

2020-05-29 14:43:12 26849 111

原创 动画演示!红黑树解析
原力计划

红黑树动图解析一、啥是红黑树?红黑树(Red Black Tree) 是一种自平衡二叉查找树,是在计算机科学中用到的一种数据结构,典型的用途是实现关联数组。因此想要弄清楚红黑树,我们需要先解决几个问题:二叉查找树是什么?为什么会出现红黑树?二、剖析二叉查找树二叉查找树特性二叉查找树(Binary Search Tree)是一颗二叉树,简称BST。就像我们说int都是整数一样,BST这一种二叉树需要满足如下三个特性:某节点的左子树节点值仅包含小于该节点值某节点的右子树节点值仅包含大于该

2020-05-21 15:05:01 2597 25

原创 不可不知的红黑树解析
原力计划

红黑树动图解析一、啥是红黑树?红黑树(Red Black Tree) 是一种自平衡二叉查找树,是在计算机科学中用到的一种数据结构,典型的用途是实现关联数组。因此想要弄清楚红黑树,我们需要先解决几个问题:二叉查找树是什么?为什么会出现红黑树?二、剖析二叉查找树二叉查找树特性二叉查找树(Binary Search Tree)是一颗二叉树,简称BST。就像我们说int都是整数一样,BST这一种二叉树需要满足如下三个特性:某节点的左子树节点值仅包含小于该节点值某节点的右子树节点值仅包含大于该

2020-05-21 15:04:12 1614 1

原创 红黑树解析
原力计划

写在前面:我是「且听风吟」,目前是某上市游戏公司的大数据开发工程师,热爱大数据开源技术,喜欢分享自己的所学所悟,现阶段正在从头梳理大数据体系的知识,以后将会把时间重点放在Spark和Flink上面。如果你也对大数据感兴趣,希望在这个行业一展拳脚。欢迎关注我,我们一起努力,一起学习。博客地址:https://ropledata.blog.csdn.net博客的名字来源于:且听风吟,静待花开。也符合我对技术的看法,想要真正掌握一门技术就需要厚积薄发的毅力,同时保持乐观的心态。你只管努力,剩下的交给.

2020-05-21 15:03:11 1693

原创 ArrayList源码万字解析!透彻易懂!
原力计划

本文我们结合源码用通俗易懂的语言来解析ArrayList,尽量给每一行源码都写上注释,给每一个功能加上总结,助你进大厂一臂之力

2020-05-20 20:22:05 7863 47

原创 hive关系运算实例详解
原力计划

非常详细的hive关系运算解析,并且每个运算都结合实例进行解释。

2020-05-20 19:28:20 1029

原创 万字HBase详解带你畅游大数据的海豚湾
原力计划

本文深入到HBase的起源开始分析,从0开始带你畅游大数据的海豚湾!让你轻松掌握HBase的原理,架构设计,存储设计,优点及适用场景。

2020-05-20 17:18:25 10680 123

原创 你说你会Spring和分布式,那你知道它们怎么演化来的吗?
原力计划

知其然更要知其所以然! 现在我们所熟知的微服务,spring,负载均衡,分布式等等技术框架和技术架构,它们的发展都是有着必然联系的。让我们追本溯源,纵览分布式的近20年发展历程。

2020-05-14 09:21:11 5945 112

原创 你一定要知道的分布式架构演化史|干货满满
原力计划

分布式架构的发展壮大正是一批批程序员前赴后继,遇到问题并解决问题,不断迭代得到的技术成果,为所有程序员点赞!

2020-05-12 15:40:52 3417 37

原创 大白话彻底搞懂HBase RowKey详细设计
原力计划

本文从RowKey的原理,可能出现的问题,如何优化及各个优化措施对应的缺点和适用的场景,设计原则等角度对RowKey进行了详细全面的解析,相信一定能对你有所帮助。

2020-05-08 14:18:42 18908 178

原创 kafka自定义拦截器|案例实战
原力计划

本文详细解释kafka的拦截器及拦截器链,并根据案例实现两个常见的自定义拦截器并组成拦截链,Talk is cheap,Show me the code

2020-04-29 14:33:01 2881 65

原创 如何像海豚一样在数据海洋里遨游?|Hbase数据处理流程详解
原力计划

Hbase的logo是海豚的形象,寓意在大数据的海洋里穿梭遨游。事实上数据的处理流程一直都是Hbase的核心知识点,让我们一起乘风破浪,解决Hbase的数据读写流程、数据flush流程和数据合并流程。

2020-04-27 18:55:00 4261 60

原创 kafka实战篇(二):消息消费实战
原力计划

本文主要使用java来实战kafka消费数据的过程,解析并实现kafka手动提交offset和自动提交offset的demo,并进行详细的总结和对比。

2020-04-24 16:00:44 7331 87

原创 kafka实战篇(一):Producer消息发送实战
原力计划

本文对kafka生产者发送消息的流程进行了详细的解释和实战,其中包含了新版本的kafka对于同步发送消息和异步发送消息的api实现,以及kafka源码里的回调函数和架构内部的失败重试机制等都给出了底层的详细解释及实战demo。

2020-04-22 16:42:49 7149 70

原创 深入分析Kafka架构(三):消费者消费方式、三种分区分配策略、offset维护
原力计划

本文作为深入分析kafka架构系列的终章,分析了kafka消费者的消费方式,分区分配策略,offset维护,其中重点详细的分析了三种分区分配策略,并举例对比,使对kafka感兴趣的读者能有所收获。

2020-04-16 17:29:28 5779 53

原创 深入分析Kafka架构(二):数据可靠性、故障处理
原力计划

本文探讨了kafka是怎么保证数据可靠性的,以及如何实现的exactly once,并分析了kafka的故障处理策略。

2020-04-14 16:41:39 2253 24

原创 深入分析Kafka架构(一):工作流程、存储机制、分区策略
原力计划

kafka主要应用在大数据的实时处理领域,使用起来比较简单,本文主要分析kafka的工作流程、存储机制,分区策略,并围绕多个角度展开总结。

2020-04-13 15:04:42 2247 26

原创 深入分析零拷贝的原理,彻底掌握Netty、Kafka、RocketMQ高效率读写的秘诀
原力计划

本文深入探究零拷贝的原理,从操作系统开始层层递进的分析了数据传输的各个相关组件及流程,直观透彻的呈现了零拷贝的原理和优点。

2020-04-09 13:12:53 2167 26

原创 大数据面试题知识点分析(十二)之Kafka面试真题及答案
原力计划

本文涵盖2020年kafka最新的面试点,由易及难。不管是应对实际生产里的集群规模、分区数等基础类的摸底面试点;还是kafka底层、事务、分区分配策略、ISR、选举、幂等性等深入的面试考察点,都可以在这里找到答案,让你与面试官顺利侃侃而谈。

2020-04-08 12:46:27 5519 93

原创 别怕,遇到Map源码面试题这样答就对了
原力计划

众所周知,在面试大厂的过程中,HashMap源码是必问的,当然有些还会问TreeMap 和 LinkedHashMap。如果事先没有准备,当然会瞬间懵逼,因此在面试前建议大家抽出时间准备准备,很容易就能续写自己的高光时刻。在开始之前,强烈推荐阅读这个多达两万字的HashMap源码分析文章,是的,你想要的,它都有!强化基础,HashMap源码全角度详细解析别的废话就不多说了,下面开始见招拆招。...

2020-04-03 16:39:58 1438 22

原创 大数据面试题知识点分析(十一)之Flume面试真题及答案
原力计划

一般情况下面试大数据岗位的时候都会问到flume,我们之前也对flume进行过总结,不过时间太快了,转眼到了2020年。下面根据本人最新的flume相关面试并总结最准确的答案如下:本文目录一、Flume的Source,Sink,Channel的作用?你们Source是什么类型?1.1、首先各组件的作用1.2、实际生产常用的Source类型为:二、你对Flume的Channel Selectors...

2020-04-03 11:23:04 3629 44

原创 hive行转列、列转行真题解析
原力计划

本文目录一、行转列1.1、行转列需要用到的函数1.2、真题实战1.2.1、需求1.2.2、创建hive表并导入数据1.2.3、按需求解题二、列转行2.1、列转行需要用到的函数2.2、真题实战2.2.1 、需求2.2.2、创建hive表并导入数据2.2.3、按需求解题2.2.4、详细解析上述sql三、总结一、行转列1.1、行转列需要用到的函数CONCAT(string A/col, str...

2020-03-31 16:31:06 1837 22

原创 hive乱码彻底解决方案全记录

hive乱码主要分为三种:一种是hive cli查询乱码,但是在ambari端查看正常;一种是导入汉字数据后,所有客户端方式查询都乱码;一种是hive cli查询没有乱码,但是通过jdbc或者hiveserver2查询出现了乱码。下面分别列出亲测可行的解决方案:第一种:hive cli查询乱码,但是在ambari端查看正常表现:在hive基础命令行下后查询时,中文出现乱码,但是am...

2020-03-31 15:03:09 2862 2

原创 一文彻底学会hive分桶表(实战详解)
原力计划

本文目录一、分桶表概述1.1、什么是分桶表?1.2、分桶表和分区表有啥区别?二、分桶表实战2.1、创建一个分桶表2.2、准备数据2.3、向分桶表导入数据2.3.1、错误导入示范(引出分桶的本质)2.3.2、正确导入示范(引出分桶规则)2.4、分桶抽样三、总结3.1、分桶表的优点3.2、常用操作3.3、分桶表的实质及与分区表的区别一、分桶表概述1.1、什么是分桶表?分桶是将数据集分解成更容易管...

2020-03-30 19:05:58 6165 45

原创 hive面试题总结(2020最新版)
原力计划

本文目录一、hive架构相关二、hive的特点三、内部表和外部表的区别?四、4个by的区别?五、介绍一下有哪些常用函数?5.1、行转列函数5.2、列转行函数5.3、Rank排名函数5.4、窗口函数(开窗函数)六、UDF、UDAF、UDTF相关面试题6.1、UDF、UDAF、UDTF的区别?6.2、怎么自定义UDF、UDAF、UDTF函数?七、hive怎么解决数据倾斜?八、hive优化相关面试题一...

2020-03-27 15:05:23 15230 32

原创 深入分析zookeeper(理论加实战)
原力计划

本文目录一、zookeeper基础1.1、什么是zookeeper?1.2、文件系统1.2、监听通知机制二、实际生产中的作用2.1、配置管理2.2、统一命名服务2.3、分布式锁2.4、集群管理等服务三、纸上得来总觉浅,zookeeper实战3.1、使用docker安装zookeeper最新版3.1.1、下载zookeeper镜像3.1.2、启动容器并暴露2181端口3.1.3、查看容器状态3.1....

2020-03-20 16:56:08 1950 32

原创 深入分析hadoop之YARN原理、架构、作业流程及调度器
原力计划

一、YARN的原理1.1、yarn是什么?首先看一下官方对于这个词汇的解释:Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,在Hadoop2引入,为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。划重点,这里...

2020-03-19 12:12:35 1137 20

原创 深入分析MapReduce之Shuffle原理和数据处理流程
原力计划

本文目录一、重新认识shuffle1.1、什么是shuffle?1.2、有什么作用?二、shuffle流程详解2.1、Map端shuffle流程2.1.1、整体概括(方便记忆)2.1.2、详细解析(方便理解)2.2、Reduce端shuffle流程2.2.1、整体概括(方便记忆)2.2.2、详细解析(方便理解)一、重新认识shuffle1.1、什么是shuffle?shuffle在词典里的翻...

2020-03-17 20:22:17 1022 3

原创 深入分析HDFS原理及读写流程
原力计划

本文目录一、架构体系1.1、什么是HDFS?1.2、组成HDFS的各模块作用1.2.1、Client1.2.2、NameNode1.2.3、DataNode1.2.4、SecondaryNameNode二、数据读写2.1、读数据2.2、写数据三、优缺点一、架构体系1.1、什么是HDFS?HDFS即Hadoop Distributed File System的简称,采用Master/Slave...

2020-03-12 17:29:46 3618 22

原创 强化基础,HashMap源码全角度详细解析
原力计划

HashMap源码深度解析一、重新认识HashMap什么是HashMap?HashMap底层基于散列(Hash)算法,采用hash表实现键值对集合,继承了AbstractMap,实现了Map接口。最早出现在jdk1.2,允许null键和null值,null键的哈希值为0。需要注意的是HashMap不保证键值对顺序,同时非线程安全。长啥样?散列算法分为散列再探测和拉链式,HashM...

2020-03-04 16:01:08 4955 39

原创 红黑树动图解析

红黑树动图解析一、啥是红黑树?红黑树(Red Black Tree) 是一种自平衡二叉查找树,是在计算机科学中用到的一种数据结构,典型的用途是实现关联数组。因此想要弄清楚红黑树,我们需要先解决几个问题:二叉查找树是什么?为什么会出现红黑树?二、剖析二叉查找树二叉查找树特性二叉查找树(Binary Search Tree)是一颗二叉树,简称BST。就像我们说int都是整数一样,BS...

2020-03-02 18:25:56 1412 7

6高并发限流解决方案.xmind

史上最全的高并发限流解决方案,xmind展示,内容直观,实践起来生动详实,希望能给各位带来帮助,欢迎下载收藏!

2020-04-10

java操作Hadoop源码之HDFS Java API操作-上传文件

java操作Hadoop源码之HDFS Java API操作-上传文件,附带所需全部jar包,欢迎下载学习。

2018-01-17

7互联网安全架构.xmind

互联网安全结构xmind文档,内容丰富,涵盖了xss攻击,sql注入攻击,防盗链,csrf攻击,及所有的解决方案,甚至是忘记密码漏洞,上传文件漏洞,注释漏洞,幂等框架问题等,都能找到解决方法。

2020-04-23

java操作Hadoop源码之HDFS Java API操作-创建目录

java操作Hadoop源码之HDFS Java API操作-创建目录,附带所需全部jar包,欢迎下载学习。

2018-01-17

java操作hadoop之mapreduce计算整数的最大值和最小值实战源码

java操作hadoop之mapreduce计算整数的最大值和最小值实战源码,附带全部所需jar包,欢迎下载一起学习。

2018-02-03

java操作Hbase之实现表的创建删除源码

java操作Hbase之实现表的创建删除,源代码,面向不使用maven的初学者,因此附带全部所需jar包。

2018-01-17

java操作hadoop之mapreduce分析年气象数据最低温度实战源码

java操作hadoop之mapreduce分析年气象数据最低温度实战源码,附带所需jar包,欢迎学习。

2018-02-03

8互联网开放平台API安全架构设计.xmind

该xmind内容非常丰富,从如何保证外开发接口的安全性出发,讲到接口安全加密传输方案,再到各种加密方法和对应场景,应有尽有,推荐下载。

2020-04-23

9分布式缓存架构.xmind

本xmind从各方面分析分布式缓存的架构,从客户端缓存,网络缓存,服务器缓存出发来解决实际项目开发的问题,并提供了多种详细解决方案。

2020-04-23

java操作Hbase之从Hbase中读取数据写入hdfs中源码

java操作Hbase之从Hbase中读取数据写入hdfs中源码,附带全部所需jar包,欢迎下载学习。

2018-01-17

pdf转换阅读器破解中文版

最新中文破解版,支持pdf编辑,转换格式为word,安装时选中convent。

2017-12-07

java操作Hive源码之HiveJDBC实例(mysql数据库)

java操作Hive源码之HiveJDBC实例(mysql数据库),附带所需jar包,欢迎下载学习。

2018-01-17

Scala代码积累之spark streaming kafka 数据存入到hive源码实例

Scala代码积累之spark streaming kafka 数据存入到hive源码实例,Scala代码积累之spark streaming kafka 数据存入到hive源码实例。

2018-03-01

java自动下载获取源码工具javasourceattacher

java自动下载获取源码工具javasourceattacher

2016-12-23

1Java基础.xmind

史上最全的java基础xmind文档,超详细概括java基础知识,不管是复习还是入坑必备,强烈建议下载

2020-04-23

大数据小型项目源码之mapreduce英语单词频次统计

大数据小型项目源码之mapreduce英语单词频次统计,附带所需全部jar包,欢迎下载学习。

2018-01-17

java操作Hbase之比较过滤器RowFilter的使用源码

java操作Hbase之比较过滤器RowFilter的使用源码,附带所需全部jar包,欢迎下载学习。

2018-01-17

kafkaProducerDemo.zip

这是一个使用java进行kafka producer消息发送(异步,同步)demo代码。 ### java版本:1.8 ### kafka版本:2.4.1 ### 本demo使用maven构建

2020-04-22

java操作Hbase之Hbase专用过滤器PageFilter的使用源代码

java操作Hbase之Hbase专用过滤器PageFilter的使用源代码,附带全部所需源代码,欢迎下载学习。

2018-01-17

大数据小型实战项目源码之Hive 通过日期计算星座实例

大数据小型实战项目源码之Hive 通过日期计算星座实例,附带所需全部jar包,欢迎下载学习

2018-01-17

Flink社区专刊S3-实时即未来.pdf

Flink社区专刊S3-实时即未来 最全最新版flink专刊 讲述了flink1.9的变革,内容详实,大数据必备!

2020-04-10

13分布式任务调度平台.xmind

这个xmind文档,非常详细的从如何保证job运行的唯一性出发,到定时任务实现方式,传统定时job特征,到传统定时任务和分布式任务的区别,各方面都给出了具体的解释和解决方案,推荐下载。

2020-04-23

计算机组成原理课后习题答案 第二版

计算机组成原理课后习题答案 第二版 唐朔飞

2017-01-03

18ElasticSearch.xmind

这个xmind详细的总结了es相关的知识,不管是es的应用场景,存储结构,优势,还是基础的使用,都给出了非常具体的解析,学习es必备资料。

2020-04-23

kafkaConsumerDemo.zip

这是使用java操作kafka consumer api的一个demo,欢迎下载交流,博客地址:https://blog.csdn.net/qq_26803795

2020-04-24

12网站跨域解决方案.xmind

这个xmind详细介绍了网站跨域产生的原因,以及对应的解决方案,有这方面问题的千万不要错过,建议收藏下载。

2020-04-23

15Dubbo.xmind

dubbo快速入门必备文档,同时也是复习使用的非常棒的总结文档,本文档,总结了dubbo产生的背景,优缺点,并且对比了springcloud和dubbo的区别,并且给出了具体的spring整合dubbo的方案,强烈推荐下载。

2020-04-23

20mysql.xmind

这个xmind非常详细的总结了mysql相关的知识,尤其是一些优化,包括索引原理,索引失效及解决方案,常见问题及解决方案,数据库分库策略,mysql集群,mycat读写分离,主从复制等内容。都给出了非常详细的总结,学习mysql必备此文档。

2020-04-23

vnc 破解版,亲测可用

破解版vnc

2016-12-23

11分布式Session.xmind

目前最详细的分布式session设计文档,对这部分内容感兴趣的或者有需要的,建议收藏下载,涵盖了各个方面。

2020-04-23

请问怎么修改公司员工认证?

发表于 2020-09-22 最后回复 2020-09-22

请求删除涉及敏感信息,个人隐私的之前发的帖子

发表于 2020-05-22 最后回复 2020-05-24

中华石杉4套视频资源免费分享

发表于 2018-08-07 最后回复 2018-08-15

大数据面试专栏

发表于 2018-03-12 最后回复 2018-08-07

分享一个很好的大数据面试知识点专栏博客

发表于 2018-01-23 最后回复 2018-03-12

大数据面试题知识分享专栏,一起加油,为了即将到来的春招!

发表于 2018-01-23 最后回复 2018-01-24

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除