欲望以提升热忱 毅力以磨平高山

————当你感到悲哀痛苦时,最好是去学些什么东西.学习会使你永远立于不败之地!...

Kylin&Druid浅析

一、kylin 核心思想 Apache Kylin的核心思想是利用空间换时间,它主要是通过预计算的方式将用户设定的多维立方体缓存到HBase中(目前还仅支持hbase), 同时由于Apache Kylin在查询方面制定了多种灵活的策略,进一步提高空间的利用率,使得这样的平衡策略在应用中值得采...

2019-04-24 08:33:15

阅读数 298

评论数 0

Zookeeper客户端Curator使用详解

Zookeeper客户端Curator使用详解 前提 转自:Throwable! 因为最近项目需要使用Zookeeper这个中间件,提前了解一下它的客户端Curator的使用。 简介 Curator是Netflix公司开源的一套zookeeper客户端框架,解决了很多Zookeeper客...

2019-03-25 11:40:06

阅读数 73

评论数 0

JAVA中神奇的双刃剑--Unsafe

前提 参考资料: Java魔法类:sun.misc.Unsafe 在openjdk8下看Unsafe源码 Unsafe介绍 在Oracle的Jdk8无法获取到sun.misc包的源码,想看此包的源码可以直接下载openjdk,包的路径是: openjdk-8u40-src-b25-10_...

2019-03-24 11:09:26

阅读数 33

评论数 0

修改Kafka服务日志输出目录不生效排查过程

背景:kafka的服务日志输出要求不能放在系统盘(空间比较小) 操作:本能的修改log4j.properties的日志输出,如图: 结果:重启服务后发现未生效,日志还是输出到当前目录的logs中猜测:设置的变量kafka.logs.dir未生效,那这个变量哪里来的呢?看下启动脚本 验证: 1...

2019-03-20 17:00:26

阅读数 88

评论数 0

IDEA编码不一致的解决方案

遇到的问题: 从github上拉下的代码不支持java高级版本的钻石语法,经过排查属于IDEA的编译器输出设置为1.5导致的, 所以在遇到Map<String,String>map=new HashMap<>会...

2019-03-15 11:00:34

阅读数 32

评论数 0

Actor生命周期---停止actor

Actor生命周期包括:创建并启动,恢复运行,重启,停止四个阶段。 启动:actorOf方法创建,拥有指定的path,uid。 启动会默认调用preStart(),可以在这里干些资源化的工作。恢复:通过容错机制,让actor恢复并继续运行,这时可以延用之前的实例,状态还在。重启: 1、调动旧实例...

2018-10-06 23:11:42

阅读数 147

评论数 0

高并发请求的缓存设计策略

本文转载链接 前几天,我司出了个篓子。当时正值某喜闻乐见的关键比赛结束,一堆人打开我司app准备看点东西,结果从来没有感受到过这么多关注量的该功能瞬间幸福到眩晕,触发了熔断,结果就是大量兴致冲冲打开app准备看该比赛结果的人被迫刷了十分钟三天前的野外跑酷,负责内容的人火大到直接骂娘。 虽然这个业...

2018-09-12 16:23:19

阅读数 68

评论数 0

hive beeline拒绝连接的错误

1、启动hadoop 2、开启 metastore 在开启 hiveserver2服务 nohup hive --service metastore  >>  log.out 2>&1 &amp...

2018-08-08 20:33:43

阅读数 2027

评论数 0

Redis-JedisConnectionException:Read timed out

转自:https://blog.csdn.net/fachang/article/details/7984123 最近项目开发中用到了Redis, 选择了官网推荐的java client Jedis。 Redis常用命令学习:http://redis.io/commands Redis官方推荐J...

2018-08-03 11:08:44

阅读数 2771

评论数 0

高性能队列——Disruptor

背景 Disruptor是英国外汇交易公司LMAX开发的一个高性能队列,研发的初衷是解决内存队列的延迟问题(在性能测试中发现竟然与I/O操作处于同样的数量级)。基于Disruptor开发的系统单线程能支撑每秒600万订单,2010年在QCon演讲后,获得了业界关注。2011年,企业应用软件专家M...

2018-08-01 15:06:41

阅读数 55

评论数 0

SparkSQL之broadcast join

当数据集的大小小于spark.sql.autoBroadcastJoinThreshold 所设置的阈值的时候, SPARK SQL 使用广播join来代替hash join 来优化join查询。广播join可以非常有效地用于具有相对较小的表和大型表之间的连接,然后可用于执行星型...

2018-06-12 19:38:29

阅读数 1290

评论数 0

Java线程池-自定义拒绝策略

Q: 什么时候需要使用拒绝策略呢? A: 当任务数量超过系统实际承载能力的时候就要用到拒绝策略了,可以说它是系统超负荷运行的补救措施。简言之,就是线程用完,队列已满,无法为新任务服务,则需一套机制来合理的处理这些问题。 JDK 提供了四种内置拒绝策略,我们要理解并记住,有如下的四种...

2018-06-11 17:53:31

阅读数 1140

评论数 0

Java可扩展线程池-ThreadPoolExecutor

1、ThreadPoolExecutor 我们知道ThreadPoolExecutor是可扩展的,它提供了几个可以在子类中改写的空方法如下: protected void beforeExecute(Thread t, Runnable r) { } protected void ...

2018-06-11 16:00:05

阅读数 151

评论数 0

SparkStreaming 状态管理函数比较

一、updateStateByKey官网原话:In every batch, Spark will apply the state update function for all existing keys, regardless of whether they have new data in ...

2018-06-05 16:10:04

阅读数 324

评论数 0

scala 版本不匹配的问题

通常版本不匹配报告如下问题:Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V at akka.util.Timeout....

2018-05-30 10:49:28

阅读数 2998

评论数 0

Java基础编程最佳实践

1、数组复制 Integer[] arr={1,2,3,4}; List<Integer> list = Arrays.asList(arr); //注意 大小是固定的 // list.add(100);// ...

2018-05-29 10:41:22

阅读数 136

评论数 0

001-SPARK2.1-core--SparkConf

一、spark中的配置classpath: core/src/main/scala/org/apache/spark/SparkConf.scala private val settings = new ConcurrentHashMap[String, String]()由上面可以看到,Spar...

2018-05-20 17:33:26

阅读数 80

评论数 0

Hadoop压缩格式对比

转自:原文链接1 gzip压缩优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。缺点:不支持split。应用场景:当每个文件压缩之后在130M以...

2018-05-03 14:10:17

阅读数 201

评论数 0

MapReduce中的join算法-reduce端join

在海量数据的环境下,不可避免的会碰到join需求, 例如在数据分析时需要连接从不同的数据源中获取到数据。 假设有两个数据集:气象站数据库和天气记录数据库,并考虑如何合二为一。 一个典型的查询是:输出气象站的历史信息,同时各行记录也包含气象站的元数据信息。 气象站和天气记录的示例数...

2016-05-10 18:57:28

阅读数 4530

评论数 0

HBase基础讲解

一、简介 hbase是bigtable的开源山寨版本。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作...

2016-03-22 16:54:40

阅读数 790

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭