迎难而上

热爱技术的IT人

JVM_JVM 垃圾回收的基本策略 (GC 上篇)

Java 中垃圾回收 中的内容比较多,我们这里在做总结的时候,分为上下两篇,即 JVM_JVM 垃圾回收的基本策略 (GC 上篇) JVM_Java中常见的几种垃圾回收器(GC 下篇) 本篇,我们会去介绍下2个方面 1.判断对象是否要回收 2.对象的垃圾回收策略 判断对象是...

2019-04-19 14:03:41

阅读数 50

评论数 0

JVM_JVM的内存区域设置与 异常

上一篇博客,我们主要讲解了 Jvm 运行时的内存区域划分。、 https://blog.csdn.net/u010003835/article/details/89311026 这篇文章,我们讲解下如何针对各个区域的大小进行限制,以及每个区域发生内存溢出时,所出现的异常。 下面我们先来回...

2019-04-16 15:05:31

阅读数 32

评论数 0

JVM_JVM的内存区域划分

总所周知,JVM 是 Java 的一个核心概念。从今天开始,我们对这块进行一个归纳整理。 JVM 运行时,主要包括以下几个运行时的数据区域。 其中: 方法区 与 堆 是所有线程共享的数据区 虚拟机栈,本地方法栈,程序计数器 是线程隔离的 程序计数器 程序计数器 (...

2019-04-15 17:20:37

阅读数 34

评论数 0

Hive _ 统计日活,留存等指标 设计与实现 指南

最近我们要根据 平时的 投放日志 统计出 每天的 活跃用户,留存 等指标,为此我进行了细致的调研。 我们的留存规则如下: 对于第1天的新增用户,如果第i 天,该用户有访问行为,则认为该用户为留存用户。 为此,我们简化为如下3张表的一个统计需求。 日志表,全量用户表,每天去重用户表 ...

2019-04-11 17:24:21

阅读数 41

评论数 0

Spark_Hive 累加统计函数 sum() over()

spark 累加历史主要用到了窗口函数,而进行全部统计,则需要用到rollup函数 1 应用场景: 1、我们需要统计用户的总使用时长(累加历史) 2、前台展现页面需要对多个维度进行查询,如:产品、地区等等 3、需要展现的表格头如: 产品、2015-04、2015-05、2015-06 2...

2019-04-09 12:44:59

阅读数 89

评论数 0

Kafka_Kafka 的日志组织格式

参考文章 : 《深入理解Kafka 核心设计 与 实践原理 》 朱忠华 著 目录: 1.日志格式划分 1.1 v0 版本 1.2 v1 版本 1.3 v2 版本 2. 各个版本消息格式变更 2.1 v0 版本 2.2 v1 版本 2.3 v2 版本 3. v0 ...

2019-04-02 21:40:12

阅读数 26

评论数 0

CDH-Kafka Error while executing topic command : replication factor: 1 larger than available brokers:

今天在使用cdh 的 kafka 的时候 ,topic 一直没有创建成功。 当时创建 Topic 的指令如下: kafka-topics --zookeeper cdh-node2:2181/kafka --create --topic test-topic --partitions 4 --...

2019-04-02 19:57:31

阅读数 46

评论数 0

CDH-CDH .InvalidConnectionAttributeException: The server time zone value 'EDT' is unrecognized

今天,我启动了 cdh 遇到了启动不起来的问题,我通过排查日志,定位到了出错的原因。 日志目录:/var/log/cloudera-scm-server 出错的异常日志: Caused by: com.mysql.cj.core.exceptions.InvalidConnection...

2019-04-02 16:32:27

阅读数 29

评论数 0

Spark_SparkStreaming Kafka Direct/Receiver 两种连接方式的区别

参考文章: DirectStream、Stream的区别-SparkStreaming源码分析02 https://blog.csdn.net/wisgood/article/details/51815853 spark-kafka direct方式读取和receiver方式读取的区别 ...

2019-03-27 11:51:02

阅读数 75

评论数 0

大数据_Kafka_副本策略,(选举,HW , LEO, epoch)

参考文章: 1.《深入理解Kafka- 核心设计与实践原理》朱忠华 2.Kafka设计解析(二十一)Kafka水位(high watermark)与leader epoch的讨论 https://www.cnblogs.com/warehouse/p/9545429.html 本文针对的是...

2019-03-20 11:23:46

阅读数 112

评论数 0

大数据_ 分布式一致 广播协议 Paxos, Zab , Raft 协议对比

其他参考: 分布式事务与一致性算法Paxos & raft & zab https://blog.csdn.net/followmyinclinations/article/details/52870418 今天我对 Paxos, Zab, Raft 一一...

2019-03-18 22:12:48

阅读数 46

评论数 0

大数据_Zookeeper_Raft 协议

在学习完 paxos , zab , 协议后,我们接下来对 比较火的 分布式一致性广播协议,Raft 协议了解一下。 这篇文章讲解的非常好,我就没有自己再写一篇文章,直接摘录过来了。 原文地址:https://www.sohu.com/a/198360462_712763 0 - R...

2019-03-18 21:24:16

阅读数 150

评论数 0

大数据_Zookeeper - Paxos 算法

Paxos 协议描述的场景: 在古希腊有一个Paxos 的小岛,岛上采用议会的形式来通过法令,议会中的议员通过信使进行消息的传递。值得注意的是,议员跟信使都是兼职的,他们随时有可能会离开议会厅,并且信使可能会重复的传递消息,也可能一去不复返。 因此,议会协议要保证在这种情况下,法令仍能...

2019-03-18 19:31:42

阅读数 33

评论数 0

大数据_ 2PC , 3PC 协议详解

在大数据 / 分布式时代, 如何确保数据的一致性 已经成为了 一个不可避免的 讨论话题。 下面我们对 2PC , 3PC , Paxos 协议进行一下了解。 2PC 协议 2PC , Two-Phase-Commit 的缩写,即两阶段提交, 两阶段提交协议被认为是一种一致性协议,用来...

2019-03-18 16:59:17

阅读数 30

评论数 0

简单题_快排思路 / 抵消策略 查找数组中是否有超过一半的元素

最近在面试中遇到了一个问题。 题目描述如下: 题目描述 数组中有一个数字出现的次数超过数组长度的一半,请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。 由于数字2在数组中出现了5次,超过数组长度的一半,因此输出2。如果不存在则输出0。 ...

2019-03-15 15:10:43

阅读数 24

评论数 0

Zookeeper_Zookeeper 的 ZAB 协议

参考文章: 1.zookeeper中的ZAB协议理解 https://blog.csdn.net/junchenbb0430/article/details/77583955 2.ZAB协议和Paxos算法 http://blog.jobbole.com/109589/ 3.聊聊...

2019-03-13 20:57:56

阅读数 24

评论数 0

Spark 考题,session 数据 停留时长合并

最近在面试 某知名企业的时候 遇到了一个比较难的面试题,当时没有思考出来解法。 回来后看了 mr 的运行流程 与spark 的一些文档,最终解决了这个问题。 MR 相关解法: Hadoop学习之路(二十七)MapReduce的API使用(四) https://www.cnblogs.c...

2019-03-13 18:21:46

阅读数 73

评论数 0

基础算法-排序-归并排序

归并排序是一个 nlgn 不错的排序算法,下面我们看下归并排序的逻辑与实现。 归并排序介绍 将两个的有序数列合并成一个有序数列,我们称之为"归并"。 归并排序(Merge Sort)就是利用归并思想对数列进行排序。根据具体的实现,归并排序包括&q...

2019-03-12 14:43:40

阅读数 29

评论数 0

LeetCode_NO493_Reverse Pairs 解题报告

参考文章: 1.493. Reverse Pairs [Leetcode] [Based on Merge-Sort] [java] https://blog.csdn.net/gxx_977/article/details/82557881 2.分治求逆序对算法 https://bl...

2019-03-11 20:48:43

阅读数 30

评论数 0

Hive_Hive ORC 实现 update 与 delete

参考文章: https://blog.csdn.net/xueyao0201/article/details/79387647 因为业务要求,需要对Hive表进行delete,在官网查询后,发现update和delete是一类问题。在此总结下如何实现Hive表的delete和updat...

2019-03-06 19:00:56

阅读数 122

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭