- 博客(49)
- 收藏
- 关注
RSS订阅转载 HBaseCon Asia 2019 Track 3 概要回顾
Track 3：ApplicationTrack3是关于HBase应用的分享，来自腾讯、快手、滴滴、Pinterest、中国移动、中国人寿等多家公司...
2019-07-31 09:10:25
197
转载 HBaseCon Asia 2019 Track 1 概要回顾
HBaseCon 没来参加怎么办？三个Track没法同时听，分身乏术怎么办？没关系~！“小米云技术”将用三期时间带你回顾全部精华~！...
2019-07-25 17:03:06
185
转载 HBaseCon Asia 2019 Track 2 概要回顾
HBaseCon 没来参加怎么办？三个Track没法同时听，分身乏术怎么办？没关系~！“小米云技术”将用三期时间带你回顾全部精华~！Track 2：Ecology ...
2019-07-24 10:43:34
102
转载 Docker容器实现原理及容器隔离性踩坑介绍
正如Docker官方的口号：“Build once,Run anywhere,Configure once,...
2019-07-16 17:07:13
186
转载 HDFS Router-based Federation
AbstractHadoop 社区为了解决 HDFS 横向扩展的问题，早前的版本中实现了基于 ViewFs 的 ...
2019-07-11 18:44:29
272
转载 Docker最佳实践：5个方法精简镜像
本文记录了精简Docker镜像尺寸的必要性及好处精简Docker镜像的好处很多，不仅可以节省存储空间和带宽，还能减少安全隐患。优化镜像大小的手段多种多样，因服务所使用的基础开发语言不同而有差异。本文将介绍精简Docker镜像的几...
2019-07-04 18:08:25
554
转载 HBase Replication详解
本文从全局出发，详细讲解了HBase的Replication和Replication Endpoint的用法及实践。往期文章回顾：一文读懂HBase多租户Replication：复制，指的是持续的将同一份数据拷贝到多个地方进行存...
2019-06-25 17:33:42
154
转载 Kubernetes监控在小米的落地
本文介绍了高可用、持久存储、可动态调整的Kubernetes监控方案的实现过程。小米的弹性调度平台（Ocean）以及容器平台主要基于开源容器自动化管理平台kubernetes（简称k8s）来提供服务，完善的监控系统提高容器服务的...
2019-06-13 17:35:47
88
转载 一文读懂HBase多租户
本文从三个方面介绍了HBase的多租户实现。上篇文章回顾：HDFS短路读详解多租户(multi-tenancy technology)，参考维基百科定义，它是在探讨与实现如何于多用户的环境下共享相同的系统或程序，并且仍可确保各用...
2019-06-06 17:14:09
130
转载 HDFS短路读详解
本文介绍了HDFS的短路读演进、安全的短路读以及小米在安全短路读的优化。背景Hadoop的一个重要思想就是移动计算，而不是移动数据。我们更愿意尽可能将计算移动到数据所在节点。因此，HDFS中经常出现客户端和数据在一个节点上，当客...
2019-06-04 17:18:39
119
转载 HDFS Decommission问题分析
本文通过更改配置及数据结构改造，快速解决HDFS Decommission缓慢问题。背景c3prc-xiami有大量raid单副本文件，decommission单个datanode速度很慢，观察监控指标，发现：网卡流量始终保持低...
2019-05-30 17:22:48
293
转载 浅谈Docker的安全性支持（下篇）
前面我们为大家介绍了Docker支持容器root用户的 Capability 能力限制、镜像签名、Apparmor的MAC访问控制、使用Seccomp限制系统调用等安全性支持，这篇文章我们会为大家介绍Docker其他安全性特性支...
2019-05-28 17:27:30
98
转载 浅谈Docker的安全性支持（上篇）
Docker作为最重视安全的容器技术之一，在很多方面都提供了强安全性的默认配置，其中包括：容器root用户的 Capability 能力限制、Seccomp系统调用过滤、Apparmor的 MAC 访问控制、ulimit限制、p...
2019-05-16 18:11:03
203
转载 从HBase offheap到Netty的内存管理
本文主要介绍了Netty的内存管理和性能。HBase的offheap现状HBase作为一款流行的分布式NoSQL数据库，被各个公司大量应用，其中有很多业务场景，例如信息流和广告业务，对访问的吞吐和延迟要求都非常高。HBase2....
2019-04-30 17:12:08
113
转载 浅谈动态追踪技术
本文主要介绍了动态追踪技术，并举例说明动态追踪技术的应用。身为一个SRE，工作中经常会遇到各种奇奇怪怪的服务异常问题。这些问题在staging（测试环境）没有发现，但放到真实的生产环境就会碰到，最关键的是难以复现，某些问题可能是...
2019-04-18 17:19:30
256
转载 论萌新开发与大佬开发的不同？
本文主要为大家介绍初级开发与高级开发人员的不同之处。往期回顾：MacPorts打包过程简介每个开发大佬都有身为萌新的青葱岁月在还是开发萌新时，他们就坚定信念，不断磨练编码技术，最终成长为开发大佬。对于他们来讲，不断学习新的编码知...
2019-04-11 17:23:53
181
转载 记一次容量提升5倍的HttpDns业务Cache调优
本文主要介绍了HttpDns业务Cache调优的相关问题及解决办法。这是最近做的一次业务优化，以一个小方案的形式分享一下优化过程。业务简介公司内部叫Resolver服务，其本质是一个httpdns系统，以http形式提供域名解析...
2019-03-26 17:45:11
167
转载 浅谈SYNPROXY
本文主要介绍了SYNPROXY的相关原理、DDoS简述、LVS相关应用等内容。上篇文章回顾：容器进程Core Dump处理SYNPROXY简述SYNPROXY是防御DDoS攻击的有力手段。SYNPROXY是一个TCP握手代理，原...
2019-03-21 17:47:16
200
转载 容器进程Core Dump处理
本文主要介绍了Core Dump实现容器进程的方法和相关内容。上篇文章回顾：IPv6入门教程引子在我们调试程序时经常会使用到Core Dump（https://en.wikipedia.org/wiki/Core_dump）功能...
2019-03-07 19:37:45
328
转载 IPv6入门教程
本篇文章主要从基础概念、IPv6的相关网络工具、关于移动应用在IPv6和IPv4网络环境中自动降级机制的研究等三个方面介绍了IPv6的入门教程。前言众所周知，32位的IPv4地址已经基本耗尽（这里的耗尽只是说的分配完了，实际上有...
2019-03-06 11:18:18
171
转载 gRPC-web现状及测试
本文主要介绍了gRPC-web现状及测试的简介、好不好用等相关内容。gRPC是什么？gRPC是谷歌开源的一款不那么快的基于原型缓冲区的RPC框架。既然不那么快，为什么还要提它呢？相较于节俭，gRPC会慢一点，但是，本文的着眼点并...
2019-02-28 17:24:46
562
转载 TiDB应用实践
本文主要介绍了TiDB在小米的应用实践和压测数据，以及在小米场景下遇到的问题和解决办法。TiDB应用实践01 TiDB特点TiDB 结合了传统的 RDBMS 和 NoSQL 的最佳特性，兼容 MySQL 协议，支持无限的水...
2019-01-29 17:13:54
128
转载 网络工程师眼中的自动化运维
本文从一名网工从业者的角度出发，探讨了在企业网运维过程中，网络工程师可以用什么样的工具让网络更加透明高效。上篇文章回顾：Apache Ranger——Hadoop ACL控制工具引言“网络就像wifi，没有故障的时候，就没有人意...
2019-01-22 18:03:02
201
转载 Apache Ranger——Hadoop ACL控制工具
本文主要通过ranger在hdfs acl中的应用以及原理介绍一下ranger的使用，另外介绍一下实际使用过程中碰到的问题。目前公司内部大多通过数据工场来管理hdfs上的数据，工场开发团队和hdfs、yarn的SRE同学也配合紧...
2019-01-18 09:11:10
376
转载 时间服务器-NTP
本文主要从NTP通信协议、NTP服务器的阶层概念、NTP服务器的安装与设定、Client的安装和配置、NTP的启动与观察等几个方面详细介绍了NTP服务器。上篇文章回顾：初探Firewalld计算机内部所记录的的时钟都记载于BIO...
2019-01-15 17:39:04
106
转载 初探Firewalld
本文主要从概念及架构、核心组成、常用命令等几个方面详细介绍了Firewalld，并附加介绍了iptables四表五链和netfilter的知识。一简介1、Firewalld提供更加智能化的防火墙管理规则，优化策略配置方案，支...
2019-01-11 15:04:31
67
转载 DPVS - 小米高性能负载均衡器
随着互联网的快速发展，负载均衡也承担着越来越重要的角色，对于小米这种快速发展中的年轻公司来说，负载均衡的稳定及高性能更是重中之重。本文将主要介绍小米基于 DPDK 的高性能负载均衡软件 DPVS（Data Plane Virtu...
2019-01-07 14:18:17
932
转载 由ORM谈Python元类
本文主要介绍了什么是类，如何动态的创建类，什么是元类，类的_metaclass_属性以及如何自己实现ORM。在谈Python元类之前，我们先来看看ORM是什么：ORM 为Object Relational Mapping 的简称...
2019-01-02 15:29:25
67
转载 阵列卡缓存电池充放电问题详解
本文主要详细解释了与阵列卡缓存电池充放电相关的各方面的问题。磁盘阵列是服务器上历史悠久的一项技术，它能够通过不同的阵列模式合理利用空间和性能配比出性价比极高的磁盘阵列，被大部分服务器OEM厂商所广泛采用。其中以LSI公司的Meg...
2019-01-02 15:25:34
2277
转载 浅谈 TLS 1.3
本文主要从TLS 1.3的优势、部署和时间发展线介绍了这种用于为计算机网络通信提供安全性的密码协议TLS。TLS简介按照维基百科的定义，TLS 是一种用于为计算机网络通信提供安全性的密码协议，其前身安全套接层（SSL）想必很多...
2018-12-27 17:05:30
179
转载 浅谈DHCP协议
本文从分配方式、工作过程、租约、数据包格式、中继代理等几个方面介绍了DHCP协议对IPV4地址的分配过程。上篇文章回顾：GO interface实现分析概要DHCP（Dynamic Host Configuration Prot...
2018-12-20 17:49:00
131
转载 Elasticsearch SQL用法详解
本文详细介绍了不同版本中Elasticsearch SQL的使用方法，总结了实际中常用的方法和操作，并给出了几个具体例子。上篇文章回顾：看示例学awk一、5.x中ES-SQL用法Elasticsearch 5.x版本中，SQL功...
2018-12-13 17:10:44
908
转载 看示例学awk
本文详细介绍了awk语法结构、关键字、运算符、内置变量、数组、正则表达式元字符、内置函数、算术函数、条件语句和循环等方面的内容，并通过丰富的示例来帮助大家熟悉使用awk。介绍awk是一个强大的文本分析工具。awk其名称得自于它的...
2018-12-12 16:34:51
81
转载 Linux IPsec离奇事件
本文通过复盘排查IPSec故障的整体过程，揭示分析故障的方法，以及通过该故障学习相关知识。上篇文章回顾：被抛弃的tcp_recycle由于业务需要，我们在海外的某些节点上搭建了VPN，方便海外节点之间的数据交互，某天我们在两个新...
2018-12-11 14:37:55
133
转载 被抛弃的tcp_recycle
本文从一次巧合发现高版本Linux不再支持tcp_tw_recycle，深入研究了连接状态TIME_WAIT的原理，进而分析了tcp_tw族内核参数和如何应用它们对Linux的连接进行调优。1背景最近准备搭建一个新的kubern...
2018-12-04 17:11:15
625
转载 任播、自治系统与全球负载均衡
本文由DNS出发，分别介绍了任播、自治系统及负载均衡和容灾等相关网络知识。上篇文章回顾：模拟网络状态的利器TC前言我在初中的时候遇到过一个问题：家里的联通宽带没有下发DNS地址，导致不能上网，年幼的我掏出了我的小米8（笑），帅气...
2018-11-30 14:39:03
105
转载 模拟网络状态的利器TC
本文主要介绍了可以模拟出多种复杂的互联网传输性能的工具——TC，及具体的模拟方法。上篇文章回顾：Ｎginx请求处理流程你了解吗？在日常生产环境中，如何判断网络运行状况是否正常是一个让大家比较耗神的一件事情，因为我们往往被某些不太...
2018-11-28 11:50:38
607
转载 Nginx请求处理流程你了解吗？
本文主要介绍了nginx的11个处理阶段和lua的8个处理阶段，并说明了nginx和lua运行阶段的对应关系。上篇文章回顾：Linux网络编程之IO模型...
2018-11-23 15:36:57
112
转载 Linux网络编程之IO模型
本文基于IO访问中存在的两个阶段详细介绍了Linux产生的五种IO模型。上篇文章回顾：小米开源监控Open-Falcon收录汽车之家贡献的Win版Agent同步与异步同步是指一个任务的完成需要依赖另外一个任务时，只有等待被依赖的...
2018-11-21 16:25:40
58
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人