自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(169)
  • 资源 (1)

原创 DevOps:从「蒸汽时代」到「高铁时代」,SUNMI DevOps转型之路
原力计划

商米科技成立于 2013 年,总部位于上海市杨浦区创智天地,是一家极具产品创新基因和互联网基因的公司。商米在短时间内迅速成长为一家近1000人的企业,产品研发人数占比一度超过70%。做为一家初创企业,商米研发团队早期也经历过与当下大部分创业公司一样困境:协作基本靠吼、发布基本靠手的阶段。然而,业务的快速发展,团队规模不断的扩大,给商米带来了在「团队协作」和「工程效能」上的双重挑战。一、蒸汽时代...

2020-03-14 14:18:16 1262

原创 Wayne - 360开源多租户K8S管理平台(使用教程)

Wayne是笔者无意之间刷文章了解到的,简单使用之后发现能解决当前眼下诸多问题,出于推动公司容器化进程的原因选择开始使用,当前所有环境都已经在使用中。借助官方的介绍Wayne 是一个通用的、基于 Web 的 Kubernetes 多集群管理平台。通过可视化 Kubernetes 对象模板编辑的方式,降低业务接入成本,拥有完整的权限管理系统,适应多租户场景,是一款适合企业级集群使用的发布平台。附...

2020-04-22 09:07:24 742

原创 Wayne - 360开源多租户K8S管理平台(介绍和安装)

Wayne是笔者无意之间刷文章了解到的,简单使用之后发现能解决当前眼下诸多问题,出于推动公司容器化进程的原因选择开始使用,当前所有环境都已经在使用中。借助官方的介绍Wayne 是一个通用的、基于 Web 的 Kubernetes 多集群管理平台。通过可视化 Kubernetes 对象模板编辑的方式,降低业务接入成本,拥有完整的权限管理系统,适应多租户场景,是一款适合企业级集群使用的发布平台。附...

2020-04-22 09:06:54 781

原创 Redash - 强大的开源数据可视化平台

我们会经常提到BI系统(Business Intelligence),它是一个重要的数据出入口,帮助数据,帮助企业获取数据表报制定战略决策。大家熟知的有FineBI和Microsoft的powerBI,但是使用成本都不低需要授权需要客户端,使用配置也相当繁琐。笔者今天给大家带来的是一款开源纯Web网页的数据工具。附上:喵了个咪的博客:w-blog.cnRedash官方Git地址:https...

2020-04-22 09:03:07 1053

原创 Nacos - 配置管理中心(阿里开源)

配置中心相信大家都有听过,zookeeper、apollo等等都是配置中心的代表,但大部分都是JAVA系为主的,笔者主要开发语言使用的是Golang当然也有类似于ETCD这样的组件,但是并不方便管理也无法可视化,在无意之间发现了阿里爸爸开源了nacos这个服务发现+配置中心组件,也经过了一段时间的时候在这里分享给大家附上:喵了个咪的博客:w-blog.cnNacos官方Git地址:http...

2019-10-24 09:10:59 9369

原创 Octan - K8S-Dashboard代替品

相信使用过K8S或容器化的大家都有了解过私有容器仓库Harbor,Harbor是VMware大佬开源的一个私有容器镜像仓库,VMware也开源了另外一个工具就是本文要说到的Octant,从笔者的角度上看来它更像一个Dashboard的代替品。附上:喵了个咪的博客:w-blog.cnOctant官方Git地址:https://github.com/vmware/octantPS:Octa...

2019-09-23 17:21:02 1344

原创 Kubernetes终端管理工具 — KubeBox

附上:喵了个咪的博客:w-blog.cnKubeBox官方Git地址:https://github.com/astefanutti/kubeboxPS:KubeBox需要依赖本地的kuberctl才能正常启动一、介绍和安装KubeBox控制K8S现在我们已经可以通过Dashboard和kubectl来控制了,但是笔者因为用的是阿里云的K8S集群,K8S-Dashboard是被阿里云...

2019-09-09 14:20:51 683

原创 Kubernetes命令行管理工具 — Kubectl

附上:喵了个咪的博客:w-blog.cnKubernetes官方文档:https://kubernetes.io/docs/reference/Kubernetes官方Git地址:https://github.com/kubernetes/kubernetesPS:本系列中使用 KubernetesV1.8 RancherV1.6.14一、国内安装Kubectl官网提供的安装命令...

2019-08-29 15:34:01 702

原创 Solr搜索引擎 — SolrCloud安装和集群配置

搞定了一切的一切之后下一步就是正式使用了,但是之前介绍的都是在单台服务器上进行的部署,如果在生产环境出现了单台故障怎么办呢?提供稳定性和性能的最直观的方式就是集群,solr官方提供了cloud的集群方式附上:喵了个咪的博客:http://w-blog.cnSolr官网:http://lucene.apache.org/solr/PS:8.0.0版本已经发布,本文使用此时较为稳定的7.7...

2019-05-27 16:21:02 448

原创 Solr搜索引擎 — 中文全拼简拼分词

搞定了中文分词下一个就是要来搞定拼音分词了,拼音分词有分为全拼和简拼附上:喵了个咪的博客:http://w-blog.cnSolr官网:http://lucene.apache.org/solr/PS:8.0.0版本已经发布,本文使用此时较为稳定的7.7.1版本一,全拼分词> wget http://files.cnblogs.com/files/wander1129/pi...

2019-05-27 16:20:21 469 3

原创 Solr搜索引擎 — 查询命令和两种中文分词使用

已经和mysql建立好了关联,可以查询和更新mysql的数据量,接下来就是进阶的使用方式了附上:喵了个咪的博客:http://w-blog.cnSolr官网:http://lucene.apache.org/solr/PS:8.0.0版本已经发布,本文使用此时较为稳定的7.7.1版本一,查询命令的基本使用基本查询方式  q 查询的关键字,此参数最为重要,例如,q=id:1,默认...

2019-05-24 13:56:31 1275

原创 Solr搜索引擎 — 通过mysql配置数据源

上一节我们已经通过两种方式运行了solr,本节演示怎么配置solr的mysql数据源附上:喵了个咪的博客:http://w-blog.cnSolr官网:http://lucene.apache.org/solr/PS:8.0.0版本已经发布,本文使用此时较为稳定的7.7.1版本一,准备数据库数据表结构CREATE TABLE `app` ( `id` int(11) NOT...

2019-05-21 17:26:58 2614 8

原创 Solr搜索引擎 — SolrCloud介绍和环境准备

搞定了一切的一切之后下一步就是正式使用了,但是之前介绍的都是在单台服务器上进行的部署,如果在生产环境出现了单台故障怎么办呢?提供稳定性和性能的最直观的方式就是集群,solr官方提供了cloud的集群方式附上:喵了个咪的博客:http://w-blog.cnSolr官网:http://lucene.apache.org/solr/PS:8.0.0版本已经发布,本文使用此时较为稳定的7.7...

2019-05-20 13:48:00 211

原创 Solr搜索引擎 — 两种安装方式

常常在业务开发中会遇到大列表的查询需求或者按照各项条件搜索内容,一般的做法往往都是数据库直接搞定,但是到了一定的程度只有这类需求会带来巨大的开销,一个表格中涉及到了5张表的数据,搜索要求从其中3张表的不同字段做到模糊查询,如果还用传统的方式实现起来就很有难度了逻辑和数据库性能就是一个考验,要是如果在A表一个字段是很长的text需要模糊匹配,在B表需要用简拼音搜索,那就难上加难了,solr恰巧就...

2019-05-17 11:06:58 194

原创 KONG网关 — 插件开发

虽然kong提供了那么多的插件,但是不可能百分百满足了对于网关的需求,在很多系统中不可能吧用户体系用到kong提供的权限验证体系,包括对于一套系统完整的RBAC系统大家都有不同的改进,以及请求加密参数校验等等,所以对于扩展性对于网关的定义需要有一定的能力的,kong是通过nginx+lua开发的通过lua脚本就可以扩展插件来完成网关的目的附上:喵了个咪的博客:w-blog.cnkong官网...

2019-05-10 16:30:54 2665

原创 KONG网关 — 丰富的插件

为什么kong这么火热呢?当然是它拥有强大的插件群来解决我们本来需要重复手动配置或者需要自己实现的内容,kong在1.X版本加强了对于插件的支持,官方提供的插件就是几十个,通过插件可以带来各种场景更加方便使用比较使用的功能:Oauth2.0Hmac AuthIP限制CORS 跨域配置限速请求大小限制Prometheus监控Http日志附上:喵了个咪的博客:w-blog....

2019-05-09 10:00:14 729

原创 KONG网关 — KongA管理UI使用

kong虽然很强大,但是在管理方式上比较单一只能通过API请求来管理,那么有没有一个UI界面的管理工具呢?这里就要说到kong管理UI新起之秀Konga附上:喵了个咪的博客:w-blog.cnkong官网:https://konghq.com/konga官网:https://github.com/pantsel/kongaPS:Kong版本必须 >= 1.0.0才能正常使用ko...

2019-05-05 11:21:43 6785

原创 KONG网关 — 介绍安装

网关是微服务中不可或缺的一部分,它承载了所有请求流量入口,参数验证拦截,用户权限验证,但是除了JAVA的spring cloud之外,公共网关屈指可数,其中最受关注的就是KONG了,笔者半年前就已经在使用kong的那时候使用的是0.11.2-bate版本(之前还被官方坑了一次),前不久终于等到了1.X的正式版发布了,笔者就在这里给大家分享一下kong网关的基本情况以及使用安装的方式。附上:喵...

2019-04-30 16:46:04 3040 2

原创 Grpc-Gateway - Grpc兼容HTTP协议文档自动生成网关

因为之前的测试结果让笔者对PHP使用GRPC很失望,如果使用HTTP的方式Guzzle还可以提供并发能力来降低接口消耗,Grpc只能阻塞,但是如果使用HTTP的话对于调用限制和GO调用GO来说不太友好,有没有一个两全其美的方式可以使用Grpc的前提下又兼容HTTP调用,让客户端可以更具自身情况自由选择,服务端工作只需要做一份呢?还别说真还有一个准备好的轮子那就是今天的主角《grpc-gatewa...

2019-03-18 11:21:31 1350

原创 Grpc — 整体性能测试

当然最最最重要的就是性能,在使用RPC的场景下对于多个程序通讯完成业务所消耗的性能是有巨大挑战的,笔者也做了一套完整的性能测试大家可以继续往下看。附上:喵了个咪的博客:w-blog.cn博文实例demo:GitHub - sunmi-OS/grpc-php-to-golang-demogrpc官网:grpc / grpc.ioprotobuf代码仓库:Releases · protoc...

2019-03-06 12:00:19 1661

原创 Grpc介绍 — Go-Service To PHP-Client

笔者现在公司项目大部分是PHP进行开发,要完成整体微服务化必须要考虑PHP使用上的可行性,Grpc也是支持PHP作为client端发起Grpc请求,但是依赖的扩展等都相对复杂(毕竟不是亲儿子),那么本文就接受怎么使用PHP调用Grpc服务。附上:喵了个咪的博客:w-blog.cn博文实例demo:GitHub - sunmi-OS/grpc-php-to-golang-demogrpc官...

2019-03-06 11:58:18 630

原创 Grpc介绍 — ProToBuf基本使用

RPC(Remote Procedure Call)远程过程调用,关注笔者的同学应该知道之前笔者出过关于Thrift对应的问题,这次主要来说的是Google开源的Grpc,和Thrift有很大的区别Grpc是基于HTTP2.0并且依赖protobuf,为什么又推出关于grpc的文章呢?请大家继续往下看。附上:喵了个咪的博客:w-blog.cn博文实例demo:GitHub - sunmi-...

2019-02-28 10:57:47 482

原创 七, 跨语言微服务框架 - Istio日志采集EFK

ELK日志系统大家不会陌生(zipkin + jaeger , prometheus + grafana)解决了大家对于链路对于统计采集的需求,但是真正的对于日志进行存储还是得专业的上,在Istio中官方提供的方案是EFK(Fluentd + Elasticsearch + Kibana)Fluentd 是一个开源的日志收集器,支持多种数据输出并且有一个可插拔架构。 Elasticsearch是...

2019-01-28 18:42:39 1010 2

原创 六, 跨语言微服务框架 - Istio Ingress和Egress详解(解决Istio无法外网访问问题)

在微服务中另外一个重点就是网关,网关理论包含入口网关和出口网关,传统意义上的网关很难做到出口网络控制,但是对于Istio是一件非常轻松的事情(因为所有的出口流量都会经过Istio),入口网关控制解析路由数据流向,出口网关控制对外访问的限制,在Istio中使用了 Ingress和Egress 来实现网关的功能.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://pre...

2018-12-07 11:02:08 2256

原创 五, 跨语言微服务框架 - Istio链路监控和监控可视化

在使用微服务会面临最大的一个问题也就是在服务数量增加带来的排查成本和监控成本,大家为了解决这些成本也衍生出了很多工作,当然在Istio中也很好的融合了这些组件,默认安装下就已经带上了这些组件(zipkin + jaeger , prometheus + grafana),本节就来看看怎么来使用这些组件附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://prelimi...

2018-11-30 15:52:54 1169

原创 四, 跨语言微服务框架 - Istio官方示例(超时控制,熔断器,流量复制)

基础的Istio环境已经搭建完成,我们需要开始了解Istio提供作为微服务网格的各种机制,也就是本文标题的(超时控制,熔断器,流量复制,速率控制)官方很给力的准备的实例项目也不需要大家自己编写demo来进行测试,那就来时跑跑看吧.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://preliminary.istio.io/zhIstio中文文档:https://p...

2018-11-23 12:01:44 1223

原创 三, 跨语言微服务框架 - Istio官方示例(自动注入.请求路由.流量控制.故障注入)

基础的Istio环境已经搭建完成,我们需要开始了解Istio提供作为微服务网格的各种机制,也就是本文标题的自动注入.请求路由.故障注入.流量切换,官方很给力的准备的实例项目也不需要大家自己编写demo来进行测试,那就来时跑跑看吧.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://preliminary.istio.io/zhIstio中文文档:https://p...

2018-11-19 11:17:01 1054

原创 二, 跨语言微服务框架 - Istio环境搭建

当我们知道Istio是一个好东西,能够帮助我们快速实现微服务化中的一些关键节点,那么下一步就需要考虑怎么使用Istio了,Istio现在版本是和Kubernetes强关联在一起的,如果大家还不是太了解Kubernetes可以先从笔者的文章中了解,通过Kubernetes生态Istio可以非常方便的进行部署和使用。附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://p...

2018-11-12 11:35:54 1842

原创 一, 跨语言微服务框架 - Istio 简绍和概念

微服务的概念已经在各大公司实践开了,以Java为代表的spring boot成为了微服务的代表,K8S+Docker成为了微服务运行的最佳环境,微服务的概念已经离我们没有那么遥远了。当然微服务是复杂的,除了组件繁多还需要代码做出很多改造才能享受到它带来的优势,那么有没有一种方式可以不需要太多代码改动就能够在多种不同的开发语言中灵活使用呢?基于服务网格Istio就诞生了,拨云见日我们今天就来一...

2018-11-07 18:07:09 2244

原创 Hadoop - 企业级大数据管理平台CDH(监控)

附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 监控可以在管理页面看到默认的监控点击进入莫个具体的组件也有与之对应的监控指标二, 自定义...

2018-08-26 10:46:08 4314

原创 Hadoop - 企业级大数据管理平台CDH(小技巧一)

附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 磁盘扩容磁盘迁移对于磁盘增加减少重新分配都是在大数据里面屡见不鲜的内容,当磁盘不够用或者磁盘损坏的时候我们怎么...

2018-08-26 10:45:42 1328

原创 Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)

在使用大数据集群的时候容灾是一件很重要的事情,CM可以非常方便的进行HA配置,CM也支持sqoop1和sqoop2,之前已经配置了sqoop2本节来一起配置sqoop1附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/en...

2018-08-26 09:55:24 585

原创 Hadoop - 企业级大数据管理平台CDH(安装Hadoop组件)

当我们已经把cm-service和cm-agent安装完成之后,接下来我们就要到最重要的部分了,安装Hadoop组件附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , ...

2018-08-23 09:30:08 776

原创 Hadoop - 企业级大数据管理平台CDH(安装cloudera-manager)

准备工作已经完成,接下来我们就要正式的开始在我们服务器集群上搭建CDH附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 安装MYSQL无论是Hadoop相关组件还...

2018-08-18 23:55:11 442

原创 Hadoop - 企业级大数据管理平台CDH(介绍和准备工作)

哈喽大家好呀,仅经过了一段时间大数据相关的博文又和大家见面了,笔者之前有写过一套Hadoop大数据相关的博客,为什么今天又要开坑呢?当然是有原因,随着不断的学习了解,慢慢意识到之前做法存在很多缺陷,最终对比了比较成熟的解决方案EMR和CDH,最终选择了使用CDH来搭建大数据管理平台,那么我们就开始新的一趴,企业级大数据管理平台CDH的学习吧!附上:喵了个咪的博客:w-blog.cn...

2018-08-09 11:15:01 4409 2

原创 Azkaban 任务调度系统(使用和小技巧)

上节主要介绍了安装搭建和简单的运行一个job,但是真正使用到实际场景还是需要了解更多的知识,比如任务怎么互相依赖,可以选择指定的节点来执行吗等等一些相关的操作会在本节中进行介绍附上:喵了个咪的博客:w-blog.cnAzkaban官网: https://azkaban.github.io官方文档地址: http://azkaban.github.io/azkaban/docs/...

2018-07-26 14:12:17 7123

原创 Azkaban 任务调度系统(安装搭建)

无论是在业务开发还是在大数据开发中,脚本都是必不可少的存在,在初期我们会使用crontab来解决问题,那么当发现规模变大监控需求可视化需求的到来Crontab已经显然满足不了需求,抱着一颗解决大数据任务脚本和业务任务脚本难题的心态最终在oozie和Azkaban选择了使用Azkaban来作为公共任务调度系统,那么就随着笔者一同来学习Azkaban的基础搭建场景和基本使用吧.附上:喵了个...

2018-07-26 14:11:34 3348

原创 [喵咪Liunx(7)]Ceph分布式文件共享解决方案

[喵咪Liunx(7)]Ceph分布式文件共享解决方案前言哈喽大家好呀! 这次给大家带来的Liunx软件分享是鼎鼎大名的Ceph分布式文件系统,笔者了解到Ceph也是遇到了一个问题就是在使用Kubeneters的时候在各个容器中都需要使用同一套文件,但是使用NAS盘的方式不管是更新还是读取都要忍受2分钟之久而且还会出现文件占用失败的问题,笔者找了找现有和Kuberneters结合比较好...

2018-07-12 09:47:19 942

原创 Kubernetes(七) - Volume

Kubernetes(七) - VolumeDocker是无状态的不管被销毁多少次都会恢复到最初的状态,但是这就意味着在程序过程中产生的配置也好文件也好会丢失,对于Docker我们经常会使用磁盘挂载的方式来保存一些重要的内容,比如运行在Docker下的数据库的源数据,比如程序的日志文件等,在K8S中也提供同样的配置方式 PS: 磁盘使用中1.8 和 1.9存在差异,1.8需要创建P...

2018-05-19 11:07:55 1784

原创 Kubernetes(六) - Secret和私有仓库认证

Kubernetes(六) - Secret和私有仓库认证对一个公司来说安全也是最为重要的因为可能一旦出现安全问题可能这个公司就完了,所以对密码管理是一个长久不变的话题,Kubernetes对密码管理提供了Secret组件进行管理,最终映射成环境变量,文件等方式提供使用,统一进行了管理更换方便,并且开发人员并不需要关心密码降低了密码的受众范围从而保障了安全.Kubernetes官方文档...

2018-05-19 11:06:57 3574

kafka-manager-1.3.3.17.zip

kafka-manager-1.3.3.17 已经编译好的版本,帮助大家节省编译成本

2019-08-07

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除