自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

hive开发UDF的一个坑

开发UDF的maven依赖一定要干净,只添加所需的依赖, 否则add jar到hive中时可能会造成依赖冲突,导致当前hive环境下所有提交的mapreduce任务都会像这样失败: hive UDF依赖: <?xml version="1.0" encodin...

2019-05-24 11:02:02

阅读数 23

评论数 0

令牌桶算法VS漏桶算法

漏桶 漏桶的出水速度是恒定的,漏桶算法能很好地控制流量的访问速度,但如果瞬时大流量的话,将有大部分请求被丢弃掉(也就是所谓的溢出)。 令牌桶 生成令牌的速度(入水速度)是恒定的,而请求去拿令牌是没有速度限制的。这意味,面对瞬时大流量,该算法可以在短时间内请求拿到大量令牌,能够在限制数据的平均传...

2019-04-03 11:23:26

阅读数 51

评论数 0

MapReduce: shuffle执行过程

Shuffle的正常意思是洗牌或弄乱,可能大家更熟悉的是Java API里的Collections.shuffle(List)方法,它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么,那么请看这张图: 这张是官方对Shuffle过程的描述。但我可以肯...

2019-04-02 18:14:28

阅读数 51

评论数 0

Kafka的设计原理

Kafka整体系统架构设计如下: 一个典型的 Kafka 集群包含若干 Producer,若干 Broker,若干 Consumer,以及一个 Zookeeper 集群。Kafka 通过 Zookeeper 管理集群配置,选举 Leader,以及在 Consumer Group发生变化时进行 R...

2019-04-02 17:41:02

阅读数 76

评论数 0

MySQL8.0新特性

文章目录优化器索引窗口函数InnoDB增强账号与安全通用表表达式JSON增强 优化器索引 窗口函数 InnoDB增强 账号与安全 ① 创建用户和用户授权的命令需要分开执行: mysql> create user ‘tony’@’%’ identified by ‘Tony...

2019-03-31 00:52:52

阅读数 42

评论数 0

spark1.6升级到spark2.4的常见问题

查看hadoop版本 hadoop2.7可支持最新的spark2.4.0版本,下载地址为http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.7.tgz 解压,进入c...

2019-03-29 15:08:36

阅读数 209

评论数 0

一些常见的消息队列面试题整理

你们公司生产环境用的是什么消息中间件? RabbitMQ、ActiveMQ、RocketMQ、Kafka优缺点与应用场景 为什么在你们系统架构中要引入消息中间件? 系统解耦、异步调用、流量削峰 说说系统架构引入消息中间件有什么缺点? 系统可用性降低(MQ挂了)、系统稳定性降低(MQ消息重发...

2019-03-29 10:24:52

阅读数 800

评论数 0

ZooKeeper分布式锁的实现原理

这篇文章再给大家聊一下ZooKeeper实现分布式锁的原理。 同理,我是直接基于比较常用的Curator这个开源框架,聊一下这个框架对ZooKeeper(以下简称zk)分布式锁的实现。 一般除了大公司是自行封装分布式锁框架之外,建议大家用这些开源框架封装好的分布式锁实现,这是一个比较快捷省事儿的方...

2019-03-27 14:40:36

阅读数 52

评论数 0

分布式锁高并发优化实践

因为库存超卖问题是有很多种技术解决方案的,比如悲观锁,分布式锁,乐观锁,队列串行化,Redis原子操作,等等吧。 但是既然面试官兄弟限定死了用分布式锁来解决库存超卖,我估计就是想问一个点:在高并发场景下如何优化分布式锁的并发性能。 我觉得,面试官提问的角度还是可以接受的,因为在实际落地生产的时候,...

2019-03-27 12:02:41

阅读数 175

评论数 0

Redis分布式锁的实现原理

说实话,如果在公司里落地生产环境用分布式锁的时候,一定是会用开源类库的,比如Redis分布式锁,一般就是用Redisson框架就好了,非常的简便易用。 大家如果有兴趣,可以去看看Redisson的官网,看看如何在项目中引入Redisson的依赖,然后基于Redis实现分布式锁的加锁与释放锁。 下面...

2019-03-27 11:41:50

阅读数 76

评论数 0

最终一致性分布式事务如何保障实际生产中99.99%高可用

在实际系统的开发过程中,可能服务间的调用是异步的。 也就是说,一个服务发送一个消息给MQ,即消息中间件,比如RocketMQ、RabbitMQ、Kafka、ActiveMQ等等。 然后,另外一个服务从MQ消费到一条消息后进行处理。这就成了基于MQ的异步调用了。 那么针对这种基于MQ的异步调用,如何...

2019-03-27 11:31:32

阅读数 141

评论数 0

TCC分布式事务的实现原理

文章目录业务场景介绍落地实现TCC分布式事务1、TCC实现阶段一:**Try**2、TCC实现阶段二:Confirm3、TCC实现阶段三:Cancel总结与思考 业务场景介绍 咱们先来看看业务场景,假设你现在有一个电商系统,里面有一个支付订单的场景。 那对一个订单支付之后,我们需要做下面的步骤: ...

2019-03-26 15:36:03

阅读数 80

评论数 0

微服务架构如何保障99.99%高可用

微服务架构本身最最核心的保障高可用的措施,就是两点: 一个是基于Hystrix做资源隔离以及熔断; 另一个是做备用降级方案。 如果资源隔离和降级都做的很完善,那么在双11这种高并发场景下,也许可能会出现个别的服务故障,但是绝不会蔓延到整个系统全部宕机。 业务场景介绍 大家首先回顾一下下...

2019-03-26 11:56:08

阅读数 279

评论数 0

每秒上万并发下的Spring Cloud参数优化实战

场景引入,问题初现 朋友A的公司做互联网类的创业,组建了一个小型研发团队,上来就用了Spring Cloud技术栈来构建微服务架构的系统。 一段时间没日没夜的加班,好不容易核心业务系统给做出来了,平时正常QA测试没发现什么大毛病,感觉性能还不错,一切都很完美。 然后系统就这么上线了,一开始用户...

2019-03-26 11:35:16

阅读数 79

评论数 0

10倍请求压力来袭,你的系统会被击垮吗?

背景情况是这样:线上一个系统,在某次高峰期间MQ中间件故障的情况下,触发了降级机制,结果降级机制触发之后运行了一小会儿,突然系统就完全卡死,无法响应任何请求。 给大家简单介绍一下这个系统的整体架构,这个系统简单来说就是有一个非常核心的行为,就是往MQ里写入数据,但是这个往MQ里写入的数据是非常核心...

2019-03-26 11:16:36

阅读数 66

评论数 0

hive函数中的operators, UDF, UDAF, UDTF, PTF

hive函数中的operators, UDF, UDAF, UDTFoperatorsUDF(User Defined Functions)UDAF(User Defined Aggregate Functions)UDTF(User Defined Tabular Functions)PTF(P...

2019-03-26 10:55:32

阅读数 53

评论数 0

Java并发面试问题之微服务注册中心的读写锁优化

微服务注册中心的读写锁优化 先来看看下面的图,现在我们知道一个微服务注册中心(可以是Eureka或者Consul或者你自己写的一个微服务注册中心),他肯定会在内存中有一个服务注册表的概念。 这个服务注册表中就是存放了各个微服务注册时发送过来的自己的地址信息,里面保存了每个服务有多少个服务实例,每个...

2019-03-25 21:41:52

阅读数 83

评论数 0

微服务注册中心如何承载大型系统的千万级访问

文章目录问题起源Eureka Server设计精妙的注册表存储结构Eureka Server端优秀的多级缓存机制总结 问题起源 下面这些问题,大家先看看,有个大概印象。带着这些问题,来看后面的内容,效果更佳 Eureka注册中心使用什么样的方式来储存各个服务注册时发送过来的机器地址和端口号? 各个...

2019-03-25 21:20:04

阅读数 70

评论数 0

Spring Cloud底层原理

文章目录Spring Cloud核心组件:EurekaSpring Cloud核心组件:FeignSpring Cloud核心组件:RibbonSpring Cloud核心组件:HystrixSpring Cloud核心组件:Zuul总结 Spring Cloud核心组件:Eureka 如上图所...

2019-03-25 21:02:21

阅读数 75

评论数 0

Java并发面试问题之公平锁与非公平锁

非公平锁 先来聊聊非公平锁是啥,现在大家先回过头来看下面这张图。 如上图,现在线程1加了锁,然后线程2尝试加锁,失败后进入了等待队列,处于阻塞中。然后线程1释放了锁,准备来唤醒线程2重新尝试加锁。 注意一点,此时线程2可还停留在等待队列里啊,还没开始尝试重新加锁呢! 然而,不幸的事情发生了,这时...

2019-03-25 20:08:46

阅读数 100

评论数 0

提示
确定要删除当前文章?
取消 删除