Apache Kafka: 优化部署的10个最佳实践

原文作者:Ben Bromhead 译者:江玮 原文地址:https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment 关键点: Kafka的低开销和易于水平伸缩的设计使得它...

2019-01-23 11:17:14

阅读数 62

评论数 0

jvm的那些设置参数你都知道吗

前言 大家都知道,jvm在启动的时候,会执行默认的一些参数。一般情况下,这些设置的默认参数应对一些平常的项目也够用了。但是如果项目特别大了,需要增加一下堆内存的大小、或者是系统老是莫明的挂掉,想查看下gc日志来排查一下错误的原因,都需要咱们手动设置这些参数。 各个参数介绍 1.verbose:gc...

2019-01-18 16:22:17

阅读数 102

评论数 0

一次生产的JVM优化

背景 生产环境有二台阿里云服务器,均为同一时期购买的,CPU、内存、硬盘等配置相同。具体配置如下: 由于这二服务器硬件和软件配置相同,并且运行相同的程序,所以在Nginx轮询策略均weight=1,即平台的某个流量由这二台机器平分。 有一次对系统进行例行检查,使用PinPoint查看下服务器”H...

2019-01-04 17:11:01

阅读数 85

评论数 0

高并发接口设计思路

并发队列的选择 Java的并发包提供了三个常用的并发队列实现,分别是:ArrayBlockingQueue、ConcurrentLinkedQueue 和 LinkedBlockingQueue 。 ArrayBlockingQueue是初始容量固定的阻塞队列,我们可以用来作为数据库模块成功竞拍...

2018-12-27 16:09:53

阅读数 255

评论数 0

探秘Dubbo原理与源码 —— 调试环境搭建

1、 依赖⼯具 Maven Git JDK IntelliJ IDEA 2、源码拉取 从官⽅仓库 https://github.com/alibaba/dubbo Fork 出属于⾃⼰的仓库。为什么要 Fork ?既然开始阅读、调试源码,我们可能会写⼀些注释,有了⾃⼰的仓库,可以进⾏⾃由的提交...

2018-12-19 17:01:11

阅读数 117

评论数 0

Docker的架构与自制镜像的发布

一. docker 是什么 大家都知道虚拟机吧,windows 上装个 linux 虚拟机是大部分程序员的常用方案。公司生产环境大多也是虚拟机,虚拟机将物理硬件资源虚拟化,按需分配和使用,虚拟机使用起来和真实操作系统一模一样,当废弃不用时直接删除虚拟机文件即可回收资源,很方便集中管理。 由于虚拟机...

2018-12-17 15:28:30

阅读数 174

评论数 1

SpringCloud源码:Ribbon负载均衡分析

本文主要分析 SpringCloud 中 Ribbon 负载均衡流程和原理。 SpringCloud版本为:Edgware.RELEASE。 一.时序图 和以前一样,先把图贴出来,直观一点: 二.源码分析 我们先从 contoller 里面看如何使用 Ribbon 来负载均衡的: @Get...

2018-12-13 17:57:18

阅读数 46

评论数 0

亲自动手写一个深度学习框架

课程目标 通过模拟Caffe,亲自动手写一个深度学习框架,搞懂底层原理,进而掌握复现新型模型的能力。 适用人群 人工智能、计算机视觉方向的本科生,研究生;IT工程师;对深度学习感兴趣者。 课程简介 Caffe、Tensorflow和Keras等框架灵活好用,但也屏蔽了很多技术细节!当我们学习所谓的...

2018-12-06 16:45:55

阅读数 33

评论数 0

BAT大数据电商画像实战

课程概述 本课程需要一定的大数据基础知识,没有相关经验的同学,可以免费咨询我,领取百分百入门资料!!! 课程介绍 本课程主要围绕电商,打造一个电商画像平台,利用电商画像进行如下分析 1)用户的行为事件分析 2)精准营销和广告投放 3)用户画像、用户分群对比分析 4)用户实时画像,活跃数据监控 软...

2018-12-03 14:58:43

阅读数 70

评论数 0

如何构建一个flink sql平台

我们都知道,离线计算有Hive,使用过的知道,需要先定义一个schema,比如针对HDFS这种存储对标mysql定义一个schema,schema的本质是什么?主要描述下面这些信息 1)当前存储的物理位置的描述 2)数据格式的组成形式 然后Hive可以让用户定义一段sql,针对上面定义的schem...

2018-11-29 12:16:49

阅读数 158

评论数 0

微服务架构下静态数据通用缓存机制

在分布式系统中,特别是最近很火的微服务架构下,有没有或者能不能总结出一个业务静态数据的通用缓存处理机制或方案,这篇文章将结合一些实际的研发经验,尝试理清其中存在的关键问题以及探寻通用的解决之道。 什么是静态数据 这里静态数据是指不经常发生变化或者变化频率比较低的数据,比如车型库、用户基本信息、车辆...

2018-11-28 17:09:48

阅读数 243

评论数 0

滴滴出行基于RocketMQ构建企业级消息队列服务的实践

本文整理自滴滴出行消息队列负责人 江海挺 在Apache RocketMQ开发者沙龙北京站的分享。通过本文,您将了解到滴滴出行: 在消息队列技术选型方面的思考; 为什么选择 RocketMQ 作为出行业务的消息队列解决方案; 如何构建自己的消息队列服务; 在 RocketMQ 上的扩展改造实践; ...

2018-11-26 18:40:08

阅读数 247

评论数 0

深入Redis持久化

一、Redis高可用概述 在介绍Redis高可用之前,先说明一下在Redis的语境中高可用的含义。 我们知道,在web服务器中,高可用是指服务器可以正常访问的时间,衡量的标准是在多长时间内可以提供正常服务(99.9%、99.99%、99.999% 等等)。但是在Redis语境中,高可用的含义似乎要...

2018-11-23 14:30:09

阅读数 140

评论数 0

SpringBoot整合RabbitMQ之典型应用场景实战二

实战前言 RabbitMQ 作为目前应用相当广泛的消息中间件,在企业级应用、微服务应用中充当着重要的角色。特别是在一些典型的应用场景以及业务模块中具有重要的作用,比如业务服务模块解耦、异步通信、高并发限流、超时业务、数据延迟处理等。上篇博文我介绍分享了RabbitMQ在业务服务模块异步解耦以及通信...

2018-11-20 18:16:58

阅读数 35

评论数 0

SpringBoot整合RabbitMQ之典型应用场景实战一

实战前言 RabbitMQ 作为目前应用相当广泛的消息中间件,在企业级应用、微服务应用中充当着重要的角色。特别是在一些典型的应用场景以及业务模块中具有重要的作用,比如业务服务模块解耦、异步通信、高并发限流、超时业务、数据延迟处理等。 RabbitMQ 官网拜读 首先,让我们先拜读 RabbitMQ...

2018-11-15 16:22:46

阅读数 55

评论数 0

大数据DMP画像系统

内容介绍 一、目标 1、掌握画像标签开发技巧 2、掌握数据挖掘技巧 3、了解业内画像和DMP系统的架构和开发 4、大数据结合业务场景落地 系统开发要求 涉及的技术要点:spark 、elasticsearch、hadoop 、hive 、LR GBDT等机器学习算法 开发工具:idea、e...

2018-11-12 17:31:55

阅读数 494

评论数 1

基于Flink流处理的动态实时电商实时分析系统

在开始学习前给大家说下什么是Flink? 1.Flink是一个针对流数据和批数据的分布式处理引擎,主要用Java代码实现。 2.Apache Flink作为Apache的顶级项目,Flink集众多优点于一身,包括快速、可靠可扩展、完全兼容Hadoop、使用简便、表现卓越。 通过以上的描述大家对F...

2018-11-07 15:44:07

阅读数 954

评论数 1

Dubbo分析之Serialize层

Dubbo整体设计 关于Dubbo的整体设计可以查看官方文档,下图可以清晰的表达Dubbo的整体设计: 1.图例说明 图中左边淡蓝背景的为服务消费方使用的接口,右边淡绿色背景的为服务提供方使用的接口,位于中轴线上的为双方都用到的接口; 图中从下至上分为十层,各层均为单向依赖,右边的黑色箭头代表层...

2018-10-12 16:13:01

阅读数 55

评论数 0

分布式锁与实现--基于ZooKeeper实现

引言 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的架构通过冗余服务实现...

2018-10-09 11:58:17

阅读数 324

评论数 0

redis 一主二从三哨兵的搭建

环境准备 三台独立的linux主机 内网IP分别为: 172.31.175.142、172.31.175.143、172.31.175.144 分别创建带主目录的普通用户, 比如useradd wx -m 安装redis 分别在各个主机上安装redis,以172.31.175.142为例,步骤如下...

2018-09-28 11:46:55

阅读数 633

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭