迎难而上

热爱技术的IT人

排序：
默认
按更新时间
按访问量
RSS订阅

原 JVM_JVM 垃圾回收的基本策略 （GC 上篇）

Java 中垃圾回收 中的内容比较多，我们这里在做总结的时候，分为上下两篇，即 JVM_JVM 垃圾回收的基本策略 （GC 上篇） JVM_Java中常见的几种垃圾回收器（GC 下篇） 本篇，我们会去介绍下2个方面 1.判断对象是否要回收 2.对象的垃圾回收策略 判断对象是...

2019-04-19 14:03:41

阅读数 50

评论数 0

原 JVM_JVM的内存区域设置与 异常

上一篇博客，我们主要讲解了 Jvm 运行时的内存区域划分。、 https://blog.csdn.net/u010003835/article/details/89311026 这篇文章，我们讲解下如何针对各个区域的大小进行限制，以及每个区域发生内存溢出时，所出现的异常。 下面我们先来回...

2019-04-16 15:05:31

阅读数 32

评论数 0

原 JVM_JVM的内存区域划分

总所周知，JVM 是 Java 的一个核心概念。从今天开始，我们对这块进行一个归纳整理。 JVM 运行时，主要包括以下几个运行时的数据区域。 其中： 方法区 与 堆 是所有线程共享的数据区 虚拟机栈，本地方法栈，程序计数器 是线程隔离的 程序计数器 程序计数器 （...

2019-04-15 17:20:37

阅读数 34

评论数 0

原 Hive _ 统计日活，留存等指标 设计与实现 指南

最近我们要根据 平时的 投放日志 统计出 每天的 活跃用户，留存 等指标，为此我进行了细致的调研。 我们的留存规则如下： 对于第1天的新增用户，如果第i 天，该用户有访问行为，则认为该用户为留存用户。 为此，我们简化为如下3张表的一个统计需求。 日志表，全量用户表，每天去重用户表 ...

2019-04-11 17:24:21

阅读数 41

评论数 0

转 Spark_Hive 累加统计函数 sum() over()

spark 累加历史主要用到了窗口函数，而进行全部统计，则需要用到rollup函数 1 应用场景： 1、我们需要统计用户的总使用时长（累加历史） 2、前台展现页面需要对多个维度进行查询，如：产品、地区等等 3、需要展现的表格头如： 产品、2015-04、2015-05、2015-06 2...

2019-04-09 12:44:59

阅读数 89

评论数 0

原 Kafka_Kafka 的日志组织格式

参考文章 ： 《深入理解Kafka 核心设计 与 实践原理 》 朱忠华 著 目录： 1.日志格式划分 1.1 v0 版本 1.2 v1 版本 1.3 v2 版本 2. 各个版本消息格式变更 2.1 v0 版本 2.2 v1 版本 2.3 v2 版本 3. v0 ...

2019-04-02 21:40:12

阅读数 26

评论数 0

原 CDH-Kafka Error while executing topic command : replication factor: 1 larger than available brokers:

今天在使用cdh 的 kafka 的时候 ，topic 一直没有创建成功。 当时创建 Topic 的指令如下： kafka-topics --zookeeper cdh-node2:2181/kafka --create --topic test-topic --partitions 4 --...

2019-04-02 19:57:31

阅读数 46

评论数 0

原 CDH-CDH .InvalidConnectionAttributeException: The server time zone value 'EDT' is unrecognized

今天，我启动了 cdh 遇到了启动不起来的问题，我通过排查日志，定位到了出错的原因。 日志目录：/var/log/cloudera-scm-server 出错的异常日志： Caused by: com.mysql.cj.core.exceptions.InvalidConnection...

2019-04-02 16:32:27

阅读数 29

评论数 0

原 Spark_SparkStreaming Kafka Direct/Receiver 两种连接方式的区别

参考文章： DirectStream、Stream的区别-SparkStreaming源码分析02 https://blog.csdn.net/wisgood/article/details/51815853 spark-kafka direct方式读取和receiver方式读取的区别 ...

2019-03-27 11:51:02

阅读数 75

评论数 0

原 大数据_Kafka_副本策略，(选举，HW , LEO, epoch)

参考文章： 1.《深入理解Kafka- 核心设计与实践原理》朱忠华 2.Kafka设计解析（二十一）Kafka水位(high watermark)与leader epoch的讨论 https://www.cnblogs.com/warehouse/p/9545429.html 本文针对的是...

2019-03-20 11:23:46

阅读数 112

评论数 0

原 大数据_ 分布式一致 广播协议 Paxos, Zab , Raft 协议对比

其他参考： 分布式事务与一致性算法Paxos & raft & zab https://blog.csdn.net/followmyinclinations/article/details/52870418 今天我对 Paxos, Zab, Raft 一一...

2019-03-18 22:12:48

阅读数 46

评论数 0

转 大数据_Zookeeper_Raft 协议

在学习完 paxos , zab , 协议后，我们接下来对 比较火的 分布式一致性广播协议，Raft 协议了解一下。 这篇文章讲解的非常好，我就没有自己再写一篇文章，直接摘录过来了。 原文地址：https://www.sohu.com/a/198360462_712763 0 - R...

2019-03-18 21:24:16

阅读数 150

评论数 0

原 大数据_Zookeeper - Paxos 算法

Paxos 协议描述的场景： 在古希腊有一个Paxos 的小岛，岛上采用议会的形式来通过法令，议会中的议员通过信使进行消息的传递。值得注意的是，议员跟信使都是兼职的，他们随时有可能会离开议会厅，并且信使可能会重复的传递消息，也可能一去不复返。 因此，议会协议要保证在这种情况下，法令仍能...

2019-03-18 19:31:42

阅读数 33

评论数 0

转 大数据_ 2PC , 3PC 协议详解

在大数据 / 分布式时代， 如何确保数据的一致性 已经成为了 一个不可避免的 讨论话题。 下面我们对 2PC , 3PC , Paxos 协议进行一下了解。 2PC 协议 2PC , Two-Phase-Commit 的缩写，即两阶段提交， 两阶段提交协议被认为是一种一致性协议，用来...

2019-03-18 16:59:17

阅读数 30

评论数 0

原 简单题_快排思路 / 抵消策略 查找数组中是否有超过一半的元素

最近在面试中遇到了一个问题。 题目描述如下： 题目描述 数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字。例如输入一个长度为9的数组{1,2,3,2,2,2,5,4,2}。 由于数字2在数组中出现了5次，超过数组长度的一半，因此输出2。如果不存在则输出0。 ...

2019-03-15 15:10:43

阅读数 24

评论数 0

原 Zookeeper_Zookeeper 的 ZAB 协议

参考文章： 1.zookeeper中的ZAB协议理解 https://blog.csdn.net/junchenbb0430/article/details/77583955 2.ZAB协议和Paxos算法 http://blog.jobbole.com/109589/ 3.聊聊...

2019-03-13 20:57:56

阅读数 24

评论数 0

原 Spark 考题，session 数据 停留时长合并

最近在面试 某知名企业的时候 遇到了一个比较难的面试题，当时没有思考出来解法。 回来后看了 mr 的运行流程 与spark 的一些文档，最终解决了这个问题。 MR 相关解法： Hadoop学习之路（二十七）MapReduce的API使用（四） https://www.cnblogs.c...

2019-03-13 18:21:46

阅读数 73

评论数 0

原 基础算法-排序-归并排序

归并排序是一个 nlgn 不错的排序算法，下面我们看下归并排序的逻辑与实现。 归并排序介绍 将两个的有序数列合并成一个有序数列，我们称之为"归并"。 归并排序(Merge Sort)就是利用归并思想对数列进行排序。根据具体的实现，归并排序包括&q...

2019-03-12 14:43:40

阅读数 29

评论数 0

原 LeetCode_NO493_Reverse Pairs 解题报告

参考文章： 1.493. Reverse Pairs [Leetcode] [Based on Merge-Sort] [java] https://blog.csdn.net/gxx_977/article/details/82557881 2.分治求逆序对算法 https://bl...

2019-03-11 20:48:43

阅读数 30

评论数 0

转 Hive_Hive ORC 实现 update 与 delete

参考文章： https://blog.csdn.net/xueyao0201/article/details/79387647 因为业务要求，需要对Hive表进行delete，在官网查询后，发现update和delete是一类问题。在此总结下如何实现Hive表的delete和updat...

2019-03-06 19:00:56

阅读数 122

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭