自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

小米云技术

我们致力于分享云存储、云计算、消息系统、Cloud Native等方面的技术干货。 这里有最专业的技术分享,最新的小米云技术团队动态。 还等什么,快关注吧。

原创 HBase Region Read Replicas功能详解

本文讲述了HBase Region Read Replicas功能详解往期文章回顾:Talos 读写一致性背景CAP原理指出,对于一个分布式系统来说,不可能同时满足一致性 (Consis...

2020-06-11 16:38:39 106

原创 你想知道的React组件设计模式这里都有(上)

本文梳理了容器与展示组件、高阶组件、render props这三类React组件设计模式往期回顾:HBaseCon Asia 2019 Track 3 概要回顾随着 React 的发展,各种组件设计模式层出不穷。React 官方文档也有不少相关文章,但是组织稍显凌乱,本文就组件的设计模式这一角度,从问题出发,为大家梳理了常见的设计模式。看完这篇文章后,你将能得心应手地处理绝大...

2019-08-01 17:07:32 753

原创 HBaseCon Asia 2019 Track 3 概要回顾

HBaseCon 没来参加怎么办?三个Track没法同时听,分身乏术怎么办?没关系!“小米云技术”将用三期时间带你回顾全部精华! 往期回顾:Track1干货回顾/Track 2 干货回顾Track 3:ApplicationTrack3是关于HBase应用的分享,来自腾讯、快手、滴滴、Pinterest、中国移动、中国人寿等多家公司的工程师为我们分享了...

2019-07-30 17:27:52 812

原创 HBaseCon Asia 2019 Track 1 概要回顾

HBaseCon 没来参加怎么办?三个Track没法同时听,分身乏术怎么办?没关系~!“小米云技术”将用三期时间带你回顾全部精华~! 往期回顾:Tr...

2019-07-25 17:01:05 664

原创 HBaseCon Asia 2019 Track 2 概要回顾

HBaseCon 没来参加怎么办? 三个Track没法同时听,分身乏术怎么办? 没关系~!“小米云...

2019-07-23 17:19:30 662

原创 我是如何成为Apache Kudu committer & PMC的?

小米从2012年开始正式涉足开源,不光积极参与开源社区,修复bug,提交代码,同时逐渐将自研的系统或框架进行开源,先后开源了企业级、高可用、可扩展的监控系统Open-Fa...

2019-06-20 17:21:32 1858

原创 HDFS-Tiering 数据分层存储

1. 背景随着小米业务迅猛发展,存储到 HDFS 集群的数据量不断增大,存储成本也不断攀升。尤其是海外 HDFS 集群每 GB 数据的成本是国内集群的 10 倍左右,如何优化海外集群的存...

2020-08-06 17:00:00 17

原创 小米Redis的K8s容器化部署实践

本文讲述了小米是如何将Redis Cluster部署在K8S上提供高质量的服务的往期文章回顾:HBase Region Read Replicas功能详解背景Why K8SHow K8s...

2020-06-18 16:53:16 696 1

原创 HBase Region Read Replicas功能详解

​本文讲述了HBase Region Read Replicas功能详解往期文章回顾:Talos 读写一致性背景CAP原理指出,对于一个分布式系统来说,不可能同时满足一致性 (Consistency)、可用性(Availability)、分区容错性(Partition tolerance),而HBase则被设计成一个CP系统,在保证强一致性的同时,选择牺牲了一定的可用性。在对HBase的压测中很容易发现,虽然HBase的平均读写延迟很低,但却存在很高的毛刺,P99、P999延迟...

2020-06-12 11:31:09 71

转载 Talos读写一致性

前文《万亿级消息背后:小米消息队列的实践》整体介绍了 Talos。本文将深入介绍该系统设计中的关键问题—读写一致性。Talos 消息队列做为一种特殊的存储系统,其一致性包含两方面: 存储层多副本数据一致性 调度层处理逻辑的读写一致性 前者由 Talos 基于 HDFS 的存储层来保障,本文将详细展开调度层一致性逻辑。Talos中的读写一致性问题做为一个消息队列系统,需要保证消息的读写一致性。这需要满足两个方面: 单条消息是连续的字节存放,不同消息的字节数据不能交错存放

2020-05-22 17:45:34 79

原创 Talos 读写一致性

前文《万亿级消息背后:小米消息队列的实践》整体介绍了 Talos。本文将深入介绍该系统设计中的关键问题—读写一致性。Talos 消息队列做为一种特殊的存储系统,其一致性包含两方面:存储层...

2020-05-21 17:00:00 81

原创 小米Hadoop YARN平滑升级3.1实践

小米所有业务的离线和流式计算资源都是基于Hadoop YARN进行管理的。随着业务快速发展,集群规模成倍增长,带来了单集群调度性能和跨机房部署等挑战。为了更好地应对这些挑战,经过调研我...

2020-01-16 17:01:58 782 1

原创 小米Talos GC性能调优实践

本文讲述了关于Talos GC性能调优的实践过程。往期文章回顾:小米数据收集利器:AgentSource背景Talos作为小米自研的消息队列,在公司内部已经有了较为广泛的应用,支持了...

2020-01-09 17:00:00 1169

转载 Flink Window的5个使用小技巧

Window是Flink的核心功能之一,使用好Window对解决一些业务场景是非常有帮助的。今天分享5个Flink Window的使用小技巧,不过在开始之前,我们先复习几个核心概念。Wi...

2019-12-26 17:00:00 675

原创 小米Kylin平滑迁移HBase实践

根据美团等其他公司在Kylin社区的公开分享资料,跨HBase集群升级方案需要在新集群重新构建历史的Cube,或者有一段时间的服务停止。小米在Kylin生产环境的跨HBase集群迁移中实...

2019-12-19 17:00:00 652

原创 Talos网卡负载优化:基于个性化一致性哈希的负载均衡

本文将详细介绍基于个性化一致性哈希的流量均衡方法。往期文章回顾:小米数据收集利器:AgentSource 目录业务增长带来的流量均衡需求基于一致性哈希的调度策略个性化一致...

2019-12-12 17:00:00 593

原创 小米数据收集利器:AgentSource

揭秘小米内部的数据收集利器往期文章回顾:万亿级消息背后: 小米消息队列的实践背景概述小米内部各业务每天会产生大量数据,有的是实时产生用于计算,有的落盘写入日志文件待后续分析,还有写入...

2019-12-05 17:00:00 774

原创 万亿级消息背后: 小米消息队列的实践

万亿级消息背后的小米消息队列实践目录业务背景架构与关键问题性能与资源优化平台化效率小米消息中间件的规划与愿景前文《讲述了消息中间件在企业 IT 架构中的重要价值,本文...

2019-11-21 17:00:00 782

原创 Mysql数据实时同步实践

关于小米内部使用的数据库你知道多少?(文末有福利)背景MySQL由于自身简单、高效、可靠的特点,成为小米内部使用最广泛的数据库,但是当数据量达到千万/亿级别的时候,M...

2019-11-14 17:01:03 738

转载 Flink流式计算在节省资源方面的简单分析

关于Flink流式计算节省资源方面你必须知道的技巧Flink在小米的发展简介小米在流式计算方面经历了Storm、Spark Streaming和Flink的发展历程;从2019年1月接触Flink到现在,已经过去了大半年的时间了。对Flink的接触越深,越能感受到它在流式计算方面的强大...

2019-11-07 17:09:19 703

转载 小米流式平台架构演进与实践

关于小米流式平台你了解多少?(文末有福利哦~~~)小米流式平台小米集群业务线众多,从信息流,电商 ,广告到金融等覆盖了众多了领域,小米流式平台为小米集团各业务提供一体化...

2019-11-05 17:00:00 805

原创 消息队列价值思考

目录一、日志与消息队列二、消息队列的应用价值 数据集成与系统解耦 异步处理与事件驱动 流量削峰 事务消息与分布式事务的最终一致 三、从历史看消息队列的价值演化四、小米的消息队列产品Talos与EMQ Talos/EMQ与开源产品的区别 Talos与EMQ的区别 五、后续文章六、参考文献时常会思考消息队列的...

2019-10-31 17:11:58 721

转载 一场HBase2.x的写入性能优化之旅

本文通过实战跑分来展示HBase2.x的写入性能往期文章回顾:首先,简单介绍一下我们的测试环境:集群由5个节点组成,每个节点有12块800GB的SSD盘、24核CPU、1...

2019-10-10 17:29:18 737

原创 告别“纷纷扰扰”—小米OLAP服务架构演进

背景>>>>What’s OLAP?如果你是一名数据分析师,或者是一位经常和 SQL 打交道的研发工程师,那么 OLAP这个词对你一定不陌生。你或许听说过 OLAP、OLTP 技术,但是今天文章的主角OLAP 是由云技术平台提供的一款分布式数据分析服务,下面先简单介绍一下它。小米 OLAP 是集存储计算于一体的分布式数据分析型数据库服务,通过 Kudu 实...

2019-08-29 16:59:19 690

原创 了解uid和gid如何在Docker容器中工作

了解用户名,组名,用户ID(uid)和组ID(gid)如何在容器内运行的进程与主机系统之间进行映射对于构建安全系统非常重要。如果没有提供任何其他选项,容器中的进程将以ro...

2019-08-22 17:00:00 585

转载 小米与高校建立实习基地,和大咖一起工作!

小米集团作为最年轻的世界五百强公司一直以来都非常注重人才的培养在小米人才战略升级后对应届生的培养更是尤为重视为此,小米集团与部分高校深入合作迈出了高校关系新一步小米集团校...

2019-08-22 17:00:00 656

原创 优化Docker镜像,加速应用部署,教你6个小窍门

为了让用户的云端应用管理更高效、更方便,今天从6个方面分享一些溜到飞起的Docker镜像优化小窍门。明确指定镜像版本,管理更方便为了让版本管理起来更方便,应用部署速度更快,在创建镜像的过程中,建议工程师们明确指定包含版本或者其他辅助信息的tag。如果不指定镜像tag,默认会使用latest。每次启动应用实例时,都需要去镜像仓库检查镜像是否更新。这种方式不利于版本管理,对应用启动...

2019-08-13 17:47:35 686

原创 你想知道的React组件设计模式这里都有(下)

上一篇介绍了三种设计模式,包括: 容器与展示组件; 高阶组件; render props。 这篇我们继续介绍三种设计模式,包括: context模式 ; 组合组件 ; 继承模式。 为了更好的理解,你可以将相应源码下载下来查看:https://github.com/imalextu/learn-react-patterns一、Cont...

2019-08-06 17:46:04 694

转载 小米集团2020全球校园招聘正式开启!

更多技术类招聘信息欢迎关注“小米云技术”点击阅读原文,加入小米吧! ...

2019-07-23 17:15:21 669

原创 HBaseConAsia 2019 参会攻略

来喽~!来喽~!HBaseConAsia 2019真的来喽~!本周六~!北京金隅喜来登~!来自国际国内各大公司的技术大佬及行业专家齐聚北京~!共同为 HBaseConA...

2019-07-18 16:57:00 612

原创 Docker容器实现原理及容器隔离性踩坑介绍

正如Docker官方的口号:“Build once,Run anywhere,Configure once,Run anything”,Docker被贴上了如下标签:轻巧、秒级启动、版本管理、可移植性等等,这些优点让它出现之初就收到极大的关注。现在,Docker已经不仅仅是开发测试阶段使用的工具,大家已经在生产环境中大量使用。今天我们给大家介绍关于容器隔离性的一个“坑”。在此之前,我们先来回顾一下...

2019-07-16 16:49:46 739

原创 HDFS Router-based Federation

AbstractHadoop 社区为了解决 HDFS 横向扩展的问题,早前的版本中实现了基于 ViewFs 的 Federation 架构,而在最新的 Hadoop 版本中,社区又实现了基于 Router 的 Federatio n架构,并且在这个架构之上还实现了许多增强集群...

2019-07-11 18:40:05 1109

原创 漫谈HBase Filter

初衷对数据库来说,满足业务多样化的查询方式非常重要。如果说有人设计了一个KV数据库,只提供了Get/Put/Scan这三种接口,估计要被用户吐槽到死,毕竟现实的业务场景并不简单。就以订单系统来说,查询给定用户最近三个月的历史订单,这里面的过滤条件就至少有2个:1. 查指定用...

2019-07-09 16:55:26 806

原创 HBaseConAsia2019 盛会来袭

号外!号外!第三届Apache HBaseConAsia 峰会将于【7月20日】在北京金隅喜来登举行~!HBaseCon大会是Apache HBase™官方自2012年发起并延续至今的技术峰会。作为Apache基金会旗下HBase社区的顶级用户峰会,届时将会有超20位来自亚洲一线互联网和大数据生态相关企业的技术专家和社区领袖亮相峰会,带来HBase及大数据技术生态的最新洞察和行业实践。...

2019-07-08 16:02:05 1481

转载 Docker最佳实践:5个方法精简镜像

精简Docker镜像的好处很多,不仅可以节省存储空间和带宽,还能减少安全隐患。优化镜像大小的手段多种多样,因服务所使用的基础开发语言不同而有差异。本文将介绍精简Docker镜像的几种通用方法。精简Docker镜像大小的必要性Docker镜像由很多镜像层(Layers)组成(最多127层),镜像层依赖于一系列的底层技术,比如文件系统(filesystems)、写时复制(copy-on-wri...

2019-07-04 19:24:57 1933

原创 HBase实战:记一次Safepoint导致长时间STW的踩坑之旅

本文记录了HBase中Safepoint导致长时间STW此问题的解决思路及办法。上篇文章回顾:HBase Replication详解过 程 记 录现象:小米有一个比较大的公共离线HBase集群,用户很多,每天有大量的MapReduce或Spark离线分析任务在进行访问,同时有很多其他在线集群Replication过来的数据写入,集群因为读写压力较大,且离线分析任务对延迟不...

2019-07-02 17:00:00 1420 1

原创 深入浅出计算机视觉(一)

本文通过案例引入计算机视觉基本知识,并浅析其基本任务中的图像分类、图像分割进展及应用。历史文章回顾:HBase Replication详解Foreword前言先上几个计算机视觉应用的案例:6月6日至8日,在第23届圣彼得堡国际经济论坛上,新华社、俄罗斯塔斯社和搜狗公司联合推出了全球首个俄语AI合成主播,未来它将被应用于塔斯社的新闻报道中。塔斯社是俄罗斯的国家通讯社,作为全球...

2019-06-27 17:00:00 4653 8

原创 HBase Replication详解

本文从全局出发,详细讲解了HBase的Replication和Replication Endpoint的用法及实践。往期文章回顾:一文读懂HBase多租户Replicat...

2019-06-25 17:00:00 1975 1

原创 Expo Android Native Module实现分析

本文介绍了Expo在Native Module上的具体实现及其架构思路。上篇文章回顾:Kubernetes监控在小米的落地◆◆引 言◆◆最近大前端较热的是Flutter,...

2019-06-18 17:05:08 804

原创 Kubernetes监控在小米的落地

本文介绍了高可用、持久存储、可动态调整的Kubernetes监控方案的实现过程。上篇文章回顾:记一次kubernetes集群异常:kubelet连接apiserver超时小米的弹性调度平台(Ocean)以及容器平台主要基于开源容器自动化管理平台kubernetes(简称k8s)来提供服务,完善的监控系统提高容器服务的质量的前提。不同于传统物理主机,每个容器相当于一个主机,导致一台...

2019-06-13 17:00:00 1217

提示
确定要删除当前文章?
取消 删除