- 博客(90)
- 收藏
- 关注
RSS订阅转载 Redis系列：数据库与TTL过期处理
本篇整理Redis中数据库与过期处理的相关内容。数据库在Redis中也是有数据库的概念的，只不过不像mysql那样是显示管理的，而是使用一个数字来表示，默认是0数据库。默认情况下redis会创建16个数据库，可以通过 select 1 命令切换数据库。Redis本身是一个键值对系统，只不过值可以是前面提过的五种不同类型，因此不同的数据库就代表不同的键的空间。实现上，每个数据库都会包含一个redisDb对象，这个对象内部有一个dict，也就是上面说的键值对。因此客户端在使用不..
2022-03-18 11:26:49
1173
转载 主流数据库对比简析
一、MySQL：关系型数据库mysql主要用于存放持久化数据，将数据存储在硬盘中，读取速度较慢。mysql用于持久化的存储数据到硬盘，功能强大，速度较慢，基于磁盘，读写速度没有Redis快，但是不受空间容量限制，性价比高mysql和redis因为需求的不同，一般都是配合使用。需要高性能的地方使用Redis，不需要高性能的地方使用MySQL。存储数据在MySQL和Redis之间做同步。缺点：海量数据处理的时候效率会显著变慢。二：Redis ：非关系型数据库redis是将数据存储在缓存中，
2021-12-27 11:01:28
1872
转载 机器学习新概念-MLOps简介
什么是 MLOps？机器学习操作 (MLOps) 基于可提高工作流效率的DevOps原理和做法。例如持续集成、持续交付和持续部署。MLOps 将这些原理应用到机器学习过程，其目标是：更快地试验和开发模型 更快地将模型部署到生产环境 质量保证顾名思义，MLOps就是机器学习时代的DevOps。它的主要作用就是连接模型构建团队和业务，运维团队，建立起一个标准化的模型开发，部署与运维流程，使得企业组织能更好的利用机器学习的能力来促进业务增长。举个简单的例子，几年前我们对于机器学习的印象主...
2021-12-16 17:32:08
1130
转载 数据湖存储格式Hudi原理与实践
今天给大家分享阿里云DLA团队技术专家李伟所做的分享《数据湖存储格式Hudi原理yu .pdf》,对数据湖及Apache Hudigan兴趣的伙伴别错过啦！（到省时查报告小程序中搜索“数据湖”、“数据治理”、“数字化”、“推荐”等关键词可以下载海量推荐相关干货资料）本次分享共包含如下五大部分：1、数据湖架构演进；2、Apache Hudi的价值；3、Apache Hudi核心技术；4、阿里云DLA基于Hudi最佳实践；5、开源数据湖存储格式对比。本PPT已收录到小程序省时查报告中
2021-12-06 11:27:25
593
转载 看懂 Serverless，这一篇就够了
文章目录1. 无服务器（Serverless）计算是什么 2. 理解Serverless技术---FaaS和BaaS 2.1 FaaS（Function as a Service，函数即服务） 2.2 BaaS（Backend as a Service，后端即服务） 3. 无服务器（Serverless）计算如何工作？ 4. 无服务器（Serverless）适用于哪些场景？...
2019-11-25 14:25:08
405
转载 全方位详解Service Mesh（服务网格）
Service mesh是近几年才出现的一个新兴概念。它可以解决微服务之间通信愈发复杂的问题。那么什么是Service mesh？它有什么具体的功能？它的架构又是如何的呢？它与Kubernetes的关系是怎样的？所有答案戳文了解！在数字化转型的旗帜下，IT界的一大变化是大型单体应用程序被分解为微服务架构，即小型、离散的功能单元，并且这些应用程序在容器中运行。包含所有服务代码以及依赖项的软件包被...
2019-11-13 15:03:19
990
转载 Service Mesh服务网格：是什么和为什么
Service Mesh（服务网格）会是今年微服务生态的主角吗？从趋势来看，众多企业正在将这项理微服务复杂性的技术/工具，搬进他们的IT“火药库”之中。什么是Service Mesh？根据Linkerd CEO William Morgan定义，Service Mesh是用于处理服务间通信的基础设施层，用于在云原生应用复杂的服务拓扑中实现可靠的请求传递。在实践中，Service Mesh通...
2019-11-13 14:52:56
316
转载 BGP网络学习总结
1、前言 云计算在中国发展越来越快，企业逐步开始将业务迁移到公有云中，方便运维，节省成本。公有云最复杂的地方是网络，客户对网络的需求千奇百怪，造成网络环境极其复杂，稍有不慎，就会出现网络连通性问题。因此大部分云计算厂商机房网络类型的运营商接入均为 BGP 多线路，保证线路质量。公有云中网络安全也是非常重要，例如DDos攻击，域名未备案封堵系统。我在工作中接触到了BGP高仿和域名未...
2019-11-05 20:06:45
1119
转载 BGP学习笔记
BGP的特征：BGP是外部路由协议，用来在AS之间传递路由信息。是一种增强的距离矢量路由协议（AS_PATH）。可靠的路由更新机制（TCP）（目的端口为179，源端口随机生成）丰富的Metric度量方法（12条选路原则）。从设计上避免了环路的发生为路由附带属性信息。支持CIDR（无类别域间选路）。丰富的路由过滤和路由策略（router-policy）。无需周期性的更新，只存在触发...
2019-11-05 20:02:38
486
转载 BGP基础知识
本文链接：https://blog.csdn.net/qq_38265137/article/details/80439561BGP简介边界网关协议BGP（Border Gateway Protocol）是一种实现自治系统AS（Autonomous System）之间的路由可达，并选择最佳路由的距离矢量路由协议。MP-BGP是对BGP-4进行了扩展，来达到在不同网络中应用的目的，BGP...
2019-11-05 19:51:02
545
转载 架构笔记：负载均衡SLB，互联网架构大剖析
本文链接：https://blog.csdn.net/qinglianchen0851/article/details/84306448文章目录前言 关于负载均衡 常见互联网slb方案 第一层：客户端到反向代理层 第二层：反向代理层到站点层 第三层：站点层到服务层 第四层：访问数据层 数据的均衡 请求的均衡 range水平切分 优点： ...
2019-11-05 16:27:00
494
转载 Tengine与Nginx特性详解
本文链接：https://blog.csdn.net/ChenVast/article/details/77942607Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。从2...
2019-11-05 15:50:31
307
转载 干货！CDN内容分发网络实战技巧
干货！史上最全的CDN内容分发网络实战技巧整理自【微学堂】第二十四期课程实录嘉宾介绍白金，ChinaUnix 资深版主，曾担任《iptables 高级使用研讨》讲师，精通iptables模块的开发和netfilter内核开发，擅长协议识别技术及网络攻击防御技术。直播实录大家好，，我叫白金（真名），很高兴今天来给大家做个分享。在 CU 混了大概 10...
2019-10-09 11:59:30
821
转载 CDN详解
CDN全称:Content Delivery Network或Content Ddistribute Network，即内容分发网络<img src="https://pic2.zhimg.com/v2-5521af4d1343371f4e9dc58cbb8ee9d4_b.jpg" data-rawwidth="900" data-rawheight="600" class="...
2019-10-09 11:38:33
2014
转载 大数据调度工具oozie详细介绍
背景：之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行，这样实现的话比较简单，但是随着多个job复杂度的提升，无论是协调工作还是任务监控都变得麻烦，我们选择使用oozie来对工作流进行调度监控。在此介绍一下oozie~注：我的 Oozie server version：[4.1.0 - CDH 5.13.0]一、官网介绍首先看官网首页介绍...
2019-08-21 20:55:04
1247
转载 云区域（region)，可用区（AZ），跨区域数据复制（Cross-region replication）与灾备（Disaster Recovery）（部分1）
本文分两部分：部分1和部分2。部分1 介绍 AWS，部分2 介绍阿里云和OpenStack云。1. AWS1.1 AWS 地理组件概况AWS 提供三种地理性组件：Regions：区域，即AWS提供云服务的一个区域，其目的是为了用户能就近接入，降低网络延迟。通常是一个城市的若干个AZ组成一个region。2016年，AWS 宣布在其全球region之间建设了100GbE 私有环网...
2019-08-01 19:27:53
3085
转载 云区域（region)，可用区（AZ），跨区域数据复制（Cross-region replication）与灾备（Disaster Recovery）（部分2）
本文分两部分：部分1和部分2。部分1 介绍 AWS，部分2 介绍阿里云和OpenStack云。2. 阿里云2.1 阿里云各产品的HA和DR能力地域：是指物理的数据中心。资源创建成功后不能更换地域。可用区：是指在同一地域内，电力和网络互相独立的物理区域。同一可用区内实例之间的网络延时更小。阿里云为全世界多个地域提供云计算服务，每个地域(Region)都包含多个可用区(A...
2019-08-01 19:25:59
2947
转载 ECS API中Signature错误的排查方法
转自：https://blog.csdn.net/huigher/article/details/71438007Signature的生成方法将get中提交的参数（除了aks以外所有的参数）按照一定的组成规则拼成一个字符串，前面再加上GET&/&组成StringToSign，然后对StringToSign做 HMAC计算，以Access Key Secret+一...
2019-07-29 10:54:23
271
转载 ELK原理与介绍
为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。一般大型系统是一个分布式部署的架构，不同的服务模...
2019-07-14 23:09:49
128
转载 Kubernetes和Spring Cloud哪个部署微服务更好？
Spring Cloud和Kubernetes都自称自己是部署和运行微服务的最好环境，但是它们在本质上和解决不同问题上是有很大差异的。在本文中，我们将看到每个平台如何帮助交付基于微服务的架构（MSA），它们擅长哪个领域，并且如何两全其美的使用从而在微服务之旅上获得成功。背景最近我读了 A. Lukyanchikov的一篇非常棒的文章（https://dzone.com/articles/...
2019-07-14 23:05:30
236
转载 Jenkins入门（一）
25.1 CI/CD介绍互联网软件的开发和发布，已经形成了一套标准流程，假如把开发工作流程分为以下几个阶段：编码 --> 构建 --> 集成 --> 测试 --> 交付 --> 部署正如你在上图中看到，[持续集成(Continuous Integration)]、[持续交付(Continuous Delivery)]和[持续部署(Continuous ...
2019-07-14 22:52:55
672
转载 Spring Cloud + Docker + K8S 项目优化
1.1 spring cloud框架Spring Cloud从技术架构上降低了对大型系统构建的要求，使我们以非常低的成本（技术或者硬件）搭建一套高效、分布式、容错的平台。Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用Spring Boot...
2019-07-14 22:37:25
8300
转载 基于kubernetes和SpringCloud微服务构建方案
微服务是什么?第一次接触到这个词汇，以为是一个基于微信的服务，听起来感觉有些low。其实不然。微服务是一种架构模式，一种分布式的架构风格。顾名思义，micro service，将一个庞大的单体应用拆分成若干个“微小”的服务，服务间通过进程通讯完成原本在单体应用中的调用。其中必要的六个基本技术为：1、服务注册与发现；2、进程间通信；3、负载均衡；4、分布式配置中心；5、熔断器；6、网关路由。根据...
2019-07-14 21:35:21
280
转载 k8s集群监控（十一）
Weave Scope在我之前的docker监控中《Docker容器监控(十）--技术流ken》就已经提到了weave scope。Weave Scope 是 Docker 和 Kubernetes 可视化监控工具。Scope 提供了至上而下的集群基础设施和应用的完整视图，用户可以轻松对分布式的容器化应用进行实时监控和问题诊断。第一步：安装weave scope...
2019-06-23 14:05:36
677
1
转载 k8s部署使用Dashboard（十）
安装Dashboard前面博客Kubernetes 所有的操作我们都是通过命令行工具 kubectl 完成的。为了提供更丰富的用户体验，Kubernetes 还开发了一个基于 Web 的 Dashboard，用户可以用 Kubernetes Dashboard 部署容器化的应用、监控应用的状态、执行故障排查任务以及管理 Kubernetes 各种资源。在 Kubernet...
2019-06-22 22:06:09
3160
1
转载 k8s应用机密信息与配置管理（九）
secret应用启动过程中可能需要一些敏感信息，比如访问数据库的用户名密码或者秘钥。将这些信息直接保存在容器镜像中显然不妥，Kubernetes 提供的解决方案是 Secret。Secret 会以密文的方式存储数据，避免了直接在配置文件中保存敏感信息。Secret 会以 Volume 的形式被 mount 到 Pod，容器可通过文件的方式使用 Secret 中的敏感数据；此外，容器也...
2019-06-22 22:04:45
408
转载 k8s数据管理（八）
volume我们经常会说：容器和 Pod 是短暂的。其含义是它们的生命周期可能很短，会被频繁地销毁和创建。容器销毁时，保存在容器内部文件系统中的数据都会被清除。为了持久化保存容器的数据，可以使用 Kubernetes Volume。Volume 的生命周期独立于容器，Pod 中的容器可能被销毁和重建，但 Volume 会被保留。本质上，Kubernetes Volume 是...
2019-06-22 22:03:19
365
转载 k8s健康检查（七）
默认的健康检查强大的自愈能力是 Kubernetes 这类容器编排引擎的一个重要特性。自愈的默认实现方式是自动重启发生故障的容器。除此之外，用户还可以利用 Liveness 和 Readiness 探测机制设置更精细的健康检查，进而实现如下需求： 零停机部署。 避免部署无效的镜像。 更加安全的滚动升级。 每个容器启动时都会执行一个进程，此进程由 Doc...
2019-06-22 22:01:37
10059
1
转载 k8s滚动更新（六）
实践滚动更新是一次只更新一小部分副本，成功后，再更新更多的副本，最终完成所有副本的更新。滚动更新的最大的好处是零停机，整个更新过程始终有副本在运行，从而保证了业务的连续性。下面我们部署三副本应用，初始镜像为 httpd:2.2.31，然后将其更新到 httpd:2.2.32。第一步: httpd:2.2.31 的配置文件如下：[root@ken ~]# ca...
2019-06-22 21:50:12
4643
转载 k8s运行容器之Job（四）
Job容器按照持续运行的时间可分为两类：服务类容器和工作类容器。服务类容器通常持续提供服务，需要一直运行，比如 http server，daemon 等。工作类容器则是一次性任务，比如批处理程序，完成后容器就退出。Kubernetes 的 Deployment、ReplicaSet 和 DaemonSet 都用于管理服务类容器；对于工作类容器，我们用 Job。第一...
2019-06-22 21:43:56
4763
1
转载 k8s运行容器之deployment（三）
deployment我们已经知道k8s是通过各种controller来管理pod的生命周期。为了满足不同业务场景，k8s开发了Deployment、ReplicaSet、DaemonSet、StatefuleSet、Job等多种Controller。我们首先学习最常用的Deployment。运行一个deployment[root@ken ~]# kubectl ru...
2019-06-22 18:43:17
10696
6
转载 k8s架构分析（二）
master节点k8s的集群由master和node组成，节点上运行着若干k8s服务。master节点之上运行着的后台服务有kube-apiserver 、kube-scheduler、kube-controller-manager、etcd和pod网络。如下图所示1. API Server(kube-apiserver)API Server是k8s的前端接口...
2019-06-22 18:25:56
594
转载 k8s重要概念及部署k8s集群（一）
重要概念1. clustercluster是 计算、存储和网络资源的集合，k8s利用这些资源运行各种基于容器的应用。2.mastermaster是cluster的大脑，他的主要职责是调度，即决定将应用放在那里运行。master运行linux操作系统，可以是物理机或者虚拟机。为了实现高可用，可以运行多个master。3.nodenode的职责是运行容器应用。...
2019-06-22 18:15:43
114544
14
转载 k8s通过service访问pod（五）
service每个 Pod 都有自己的 IP 地址。当 controller 用新 Pod 替代发生故障的 Pod 时，新 Pod 会分配到新的 IP 地址。这样就产生了一个问题：如果一组 Pod 对外提供服务（比如 HTTP），它们的 IP 很有可能发生变化，那么客户端如何找到并访问这个服务呢？Kubernetes 给出的解决方案是 Service。创建 Servic...
2019-06-22 18:04:40
9000
转载 kafka如何彻底删除topic及数据
前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作方法。step1：如果需要被删除topic 此时正在被程序 produce和consume，则这些生产和消费...
2019-06-20 12:51:39
3186
1
转载 ElasticSearch机制与架构
（转载请注明作者和出处easyice.cn，请勿用于任何商业用途）目录[隐藏]机制和架构 简介 目录 索引结构和分片 分片 索引别名 动态更新索引 近实时搜索 持久化变更 段合并 集群原理 节点类型 集群健康状态 集群扩容 出现异常 集群状态 分布式存储 机制和架构简介实时的分布...
2019-06-20 12:14:22
273
转载 Elasticsearch 架构
Elasticsearch是最近两年异军突起的一个兼有搜索引擎和NoSQL数据库功能的开源系统，基于Java/Lucene构建。最近研究了一下，感觉 Elasticsearch 的架构以及其开源的生态构建都有许多可借鉴之处，所以整理成文章分享下。本文的代码以及架构分析主要基于 Elasticsearch 2.X 最新稳定版。 Elasticsearch 看名字就能大概了解下它是一个弹性的搜索引擎...
2019-06-20 12:05:52
2858
转载 kubernetes-整体概述和架构
1、Kubernetes是什么Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernetes积累了作为Google生产环境运行工作负载15年的经验，并吸收了来自于社区的最佳想法和实践。Kubernetes经过这几年的快速发...
2019-06-15 03:56:10
147
转载 Kubernetes简介-是什么？
Kubernetes本文内容仅为个人理解，如有偏颇，欢迎指正。一、传统的运维方式在了解Kubernetes之前，我们有必要先简单了解一下传统的运维模式。在传统的项目架构中(单体or微服务)，我们一般将项目打包为war或fatJar的方式进行部署。在部署时，需要人工创建相应的服务器及资源，并搭建项目运行的依赖环境，预估服务需要占用的内存与CPU，同事还要考虑到高可用的部署环境，在不同...
2019-06-15 03:31:47
168
转载 Redis常用的5种数据类型
本文重要介绍，redis的五种数据类型，以及各应用场景字符串string：字符串类型是Redis中最为基础的数据存储类型，是一个由字节组成的序列，他在Redis中是二进制安全的，这便意味着该类型可以接受任何格式的数据，如JPEG图像数据货Json对象描述信息等，是标准的key-value，一般来存字符串，整数和浮点数。Value最多可以容纳的数据长度为512MB应用场景：很常见的场景用于...
2019-06-15 02:49:38
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人