- 博客(189)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Grpc介绍 — Go-Service To PHP-Client
笔者现在公司项目大部分是PHP进行开发，要完成整体微服务化必须要考虑PHP使用上的可行性，Grpc也是支持PHP作为client端发起Grpc请求，但是依赖的扩展等都相对复杂（毕竟不是亲儿子），那么本文就接受怎么使用PHP调用Grpc服务。附上:喵了个咪的博客：w-blog.cn博文实例demo：GitHub - sunmi-OS/grpc-php-to-golang-demogrpc官...
2019-03-06 11:58:18
1046
原创 Grpc介绍 — ProToBuf基本使用
RPC（Remote Procedure Call）远程过程调用，关注笔者的同学应该知道之前笔者出过关于Thrift对应的问题，这次主要来说的是Google开源的Grpc，和Thrift有很大的区别Grpc是基于HTTP2.0并且依赖protobuf，为什么又推出关于grpc的文章呢？请大家继续往下看。附上:喵了个咪的博客：w-blog.cn博文实例demo：GitHub - sunmi-...
2019-02-28 10:57:47
944
原创 七, 跨语言微服务框架 - Istio日志采集EFK
ELK日志系统大家不会陌生(zipkin + jaeger , prometheus + grafana)解决了大家对于链路对于统计采集的需求,但是真正的对于日志进行存储还是得专业的上,在Istio中官方提供的方案是EFK(Fluentd + Elasticsearch + Kibana)Fluentd 是一个开源的日志收集器，支持多种数据输出并且有一个可插拔架构。 Elasticsearch是...
2019-01-28 18:42:39
1677
2
原创 六, 跨语言微服务框架 - Istio Ingress和Egress详解(解决Istio无法外网访问问题)
在微服务中另外一个重点就是网关,网关理论包含入口网关和出口网关,传统意义上的网关很难做到出口网络控制,但是对于Istio是一件非常轻松的事情(因为所有的出口流量都会经过Istio),入口网关控制解析路由数据流向,出口网关控制对外访问的限制,在Istio中使用了 Ingress和Egress 来实现网关的功能.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://pre...
2018-12-07 11:02:08
4737
原创 五, 跨语言微服务框架 - Istio链路监控和监控可视化
在使用微服务会面临最大的一个问题也就是在服务数量增加带来的排查成本和监控成本,大家为了解决这些成本也衍生出了很多工作,当然在Istio中也很好的融合了这些组件,默认安装下就已经带上了这些组件(zipkin + jaeger , prometheus + grafana),本节就来看看怎么来使用这些组件附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://prelimi...
2018-11-30 15:52:54
1750
原创 四, 跨语言微服务框架 - Istio官方示例(超时控制,熔断器,流量复制)
基础的Istio环境已经搭建完成,我们需要开始了解Istio提供作为微服务网格的各种机制,也就是本文标题的(超时控制,熔断器,流量复制,速率控制)官方很给力的准备的实例项目也不需要大家自己编写demo来进行测试,那就来时跑跑看吧.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://preliminary.istio.io/zhIstio中文文档:https://p...
2018-11-23 12:01:44
1720
原创 三, 跨语言微服务框架 - Istio官方示例(自动注入.请求路由.流量控制.故障注入)
基础的Istio环境已经搭建完成,我们需要开始了解Istio提供作为微服务网格的各种机制,也就是本文标题的自动注入.请求路由.故障注入.流量切换,官方很给力的准备的实例项目也不需要大家自己编写demo来进行测试,那就来时跑跑看吧.附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://preliminary.istio.io/zhIstio中文文档:https://p...
2018-11-19 11:17:01
1784
原创 二, 跨语言微服务框架 - Istio环境搭建
当我们知道Istio是一个好东西，能够帮助我们快速实现微服务化中的一些关键节点，那么下一步就需要考虑怎么使用Istio了，Istio现在版本是和Kubernetes强关联在一起的，如果大家还不是太了解Kubernetes可以先从笔者的文章中了解，通过Kubernetes生态Istio可以非常方便的进行部署和使用。附上:喵了个咪的博客:w-blog.cnIstio官方地址:https://p...
2018-11-12 11:35:54
2375
原创 一, 跨语言微服务框架 - Istio 简绍和概念
微服务的概念已经在各大公司实践开了，以Java为代表的spring boot成为了微服务的代表，K8S+Docker成为了微服务运行的最佳环境，微服务的概念已经离我们没有那么遥远了。当然微服务是复杂的，除了组件繁多还需要代码做出很多改造才能享受到它带来的优势，那么有没有一种方式可以不需要太多代码改动就能够在多种不同的开发语言中灵活使用呢?基于服务网格Istio就诞生了,拨云见日我们今天就来一...
2018-11-07 18:07:09
3817
原创 Hadoop - 企业级大数据管理平台CDH(监控)
附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 监控可以在管理页面看到默认的监控点击进入莫个具体的组件也有与之对应的监控指标二, 自定义...
2018-08-26 10:46:08
5455
原创 Hadoop - 企业级大数据管理平台CDH(小技巧一)
附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 磁盘扩容磁盘迁移对于磁盘增加减少重新分配都是在大数据里面屡见不鲜的内容,当磁盘不够用或者磁盘损坏的时候我们怎么...
2018-08-26 10:45:42
1771
原创 Hadoop - 企业级大数据管理平台CDH(HA高可用和Sqoop1)
在使用大数据集群的时候容灾是一件很重要的事情,CM可以非常方便的进行HA配置,CM也支持sqoop1和sqoop2,之前已经配置了sqoop2本节来一起配置sqoop1附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/en...
2018-08-26 09:55:24
887
原创 Hadoop - 企业级大数据管理平台CDH(安装Hadoop组件)
当我们已经把cm-service和cm-agent安装完成之后,接下来我们就要到最重要的部分了,安装Hadoop组件附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , ...
2018-08-23 09:30:08
1096
原创 Hadoop - 企业级大数据管理平台CDH(安装cloudera-manager)
准备工作已经完成,接下来我们就要正式的开始在我们服务器集群上搭建CDH附上:喵了个咪的博客:w-blog.cncloudera官网: https://www.cloudera.com/官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html一 , 安装MYSQL无论是Hadoop相关组件还...
2018-08-18 23:55:11
689
原创 Hadoop - 企业级大数据管理平台CDH(介绍和准备工作)
哈喽大家好呀,仅经过了一段时间大数据相关的博文又和大家见面了,笔者之前有写过一套Hadoop大数据相关的博客,为什么今天又要开坑呢?当然是有原因,随着不断的学习了解,慢慢意识到之前做法存在很多缺陷,最终对比了比较成熟的解决方案EMR和CDH,最终选择了使用CDH来搭建大数据管理平台,那么我们就开始新的一趴,企业级大数据管理平台CDH的学习吧!附上:喵了个咪的博客:w-blog.cn...
2018-08-09 11:15:01
5852
2
原创 Azkaban 任务调度系统(使用和小技巧)
上节主要介绍了安装搭建和简单的运行一个job,但是真正使用到实际场景还是需要了解更多的知识,比如任务怎么互相依赖,可以选择指定的节点来执行吗等等一些相关的操作会在本节中进行介绍附上:喵了个咪的博客:w-blog.cnAzkaban官网: https://azkaban.github.io官方文档地址: http://azkaban.github.io/azkaban/docs/...
2018-07-26 14:12:17
9738
原创 Azkaban 任务调度系统(安装搭建)
无论是在业务开发还是在大数据开发中,脚本都是必不可少的存在,在初期我们会使用crontab来解决问题,那么当发现规模变大监控需求可视化需求的到来Crontab已经显然满足不了需求,抱着一颗解决大数据任务脚本和业务任务脚本难题的心态最终在oozie和Azkaban选择了使用Azkaban来作为公共任务调度系统,那么就随着笔者一同来学习Azkaban的基础搭建场景和基本使用吧.附上:喵了个...
2018-07-26 14:11:34
3950
原创 [喵咪Liunx(7)]Ceph分布式文件共享解决方案
[喵咪Liunx(7)]Ceph分布式文件共享解决方案前言哈喽大家好呀! 这次给大家带来的Liunx软件分享是鼎鼎大名的Ceph分布式文件系统,笔者了解到Ceph也是遇到了一个问题就是在使用Kubeneters的时候在各个容器中都需要使用同一套文件,但是使用NAS盘的方式不管是更新还是读取都要忍受2分钟之久而且还会出现文件占用失败的问题,笔者找了找现有和Kuberneters结合比较好...
2018-07-12 09:47:19
2660
原创 Kubernetes(七) - Volume
Kubernetes(七) - VolumeDocker是无状态的不管被销毁多少次都会恢复到最初的状态,但是这就意味着在程序过程中产生的配置也好文件也好会丢失,对于Docker我们经常会使用磁盘挂载的方式来保存一些重要的内容,比如运行在Docker下的数据库的源数据,比如程序的日志文件等,在K8S中也提供同样的配置方式 PS: 磁盘使用中1.8 和 1.9存在差异,1.8需要创建P...
2018-05-19 11:07:55
2110
原创 Kubernetes(六) - Secret和私有仓库认证
Kubernetes(六) - Secret和私有仓库认证对一个公司来说安全也是最为重要的因为可能一旦出现安全问题可能这个公司就完了,所以对密码管理是一个长久不变的话题,Kubernetes对密码管理提供了Secret组件进行管理,最终映射成环境变量,文件等方式提供使用,统一进行了管理更换方便,并且开发人员并不需要关心密码降低了密码的受众范围从而保障了安全.Kubernetes官方文档...
2018-05-19 11:06:57
4668
原创 Kubernetes(五) - Service
Kubernetes(五) - ServiceKubernetes解决的另外一个痛点就是服务发现,服务发现机制和容器开放访问都是通过Service来实现的,把Deployment和Service关联起来只需要Label标签相同就可以关联起来形成负载均衡,基于kuberneres的DNS服务我们只需要访问Service的名字就能以负载的方式访问到各个容器Kubernetes官方文档:ht...
2018-05-19 11:06:04
1439
原创 Kubernetes(四) - Pod和Deployment
Kubernetes(四) - Pod和DeploymentKubernetes中有各种各样的组件,对于容器来说Kubernetes最小的单元是由Pod进行组成的,但是我们在使用过程中经常会使用到Deployment来部署我们的应用,其中究竟区别在哪里,我们今天就来一同探索Kubernetes官方文档:https://kubernetes.io/docs/reference/Kub...
2018-05-19 11:05:20
27355
3
原创 Kubernetes(三) - 使用Rancher部署K8S集群(搭建Kubernetes)
Kubernetes(三) - 使用Rancher部署K8S集群(搭建Kubernetes)目前创建K8S集群的安装程序最受欢迎的有Kops，Kubespray，kubeadm，rancher，以及个人提供的脚本集等。Kops和Kubespary在国外用的比较多，没有处理中国的网络问题，没法使用。kubeadm是Kubernetes官方提供的k8s部署工具，不过不支持HA，且支持的...
2018-05-19 11:04:56
11460
2
原创 Kubernetes(二) - 使用Rancher部署K8S集群(搭建Rancher)
Kubernetes(二) - 使用Rancher部署K8S集群(搭建Rancher)众所周知Kubernetres虽然很好但是安装部署很复杂, Rancher功能很强大,我们这里仅仅使用Rancher来搭建管理Kubernetes集群Kubernetes官方文档:https://kubernetes.io/docs/reference/ Kubernetes官方Git地址:htt...
2018-05-19 11:04:26
17375
原创 Kubernetes(一) - Docker管理工具
Kubernetes(一) - Docker管理工具虽然Docker已经很强大了,但是在实际使用上还是有诸多不便,比如集群管理,资源调度文件管理等等,那么在这样一个百花齐放的容器时代涌现出了很多解决方案,比如Swarm,Mesos,Kubernetes等等,其中谷歌开源的Kubernetes是作为老大哥的存在,从本节开始将介绍如何打造自己的Kubernetes,并且了解它各个组件的用途...
2018-05-19 11:02:43
3573
1
原创 Dockerfile构建镜像
几乎所有的image都是通过Dockerfile生成出来的,使用Dockerfile可以让我们很轻松的构建出一个镜像,我们如果需要部署自己的程序常常也可会Dockerfile把代码和环境构建成一个image进行使用附上:喵了个咪的博客:w-blog.cn官方Git地址:https://github.com/moby/moby1.DockerFile介绍以hub.docker...
2018-05-05 15:05:53
360
原创 Docker编排工具Docker-compose
当然我们已经了解了Docker基础使用,当然我们要全面Docker化还有一段路要走,今天给大家带来的是编排工具,应为复杂度使用docker run 容器的时候需要配置很多内容比如端口映射,磁盘挂载,环境变量等,全部在命令中格式麻烦也不好保存,并且如果多个容器之前需要关联也特别麻烦,所以有了Docker三剑客之一的Docker-compose出面来解决这个问题.附上:喵了个咪的博客:w-...
2018-05-05 15:00:40
1876
原创 Docker使用命令和技巧
既然已经搭建好了Docker关于基础的命令以及使用方式我们当然要进行学习,还有一些小技巧比如批量操作镜像加速和怎么寻找合适的Docker-Images都是本节的内容附上:喵了个咪的博客:w-blog.cn官方Git地址:https://github.com/moby/moby1.Docker基本操作命令docker容器生命周期管理docker run 在一个新...
2018-05-05 14:57:37
884
原创 Docker应用容器引擎介绍与搭建
Docker相信大家都不默认,没有实践过的童鞋也应该听过他的大名,笔者最近挺长一段使用都在使用Docker解决各种问题,而在最近也吧Kubernetes的坑爬完实践了起来,那么从今天开始笔者会带来关于Docker容器化相关的博文,一同探索Docker为什么这么火热,我们怎么去实践使用它.附上:喵了个咪的博客:w-blog.cn官方Git地址:https://github.com/m...
2018-05-05 14:54:28
2624
原创 EMQ百万级MQTT消息服务(TLS Docker Golang)
附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html1.TLS证书验证为了保障安全.我们常常会使用HTTPS来保障请求不被篡改,作为MQTT使用TLS加密的方式来保障传输安全EMQ默认使用的TLS加密的端口是8883端口,默认证书在EMQ目录下et...
2018-04-24 19:09:32
1498
原创 EMQ百万级MQTT消息服务(小技巧)
附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html1.ACL鉴权规则化在正常业务使用下对于客户端的行为可以使用ACL进行限制,比如A客户端只能订阅 /A/get 队列消息和向 /A/set 发布内容 但是在MYSQL里面处理这样的鉴权就需要写入两条...
2018-04-08 15:11:04
14295
原创 EMQ百万级MQTT消息服务(分布式集群)
在强大的单机也比不上集群,EMQ的集群模式很粗暴,只需要把EMQ服务关联在一起然后负载均衡就可以达到集群的效果,这样就算面对1000CK问题也迎刃而解附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html1.集群方式接受Erlang/OTP 最初是爱...
2018-04-08 15:10:18
9026
3
原创 EMQ百万级MQTT消息服务(ACL鉴权)
虽然EMQ已经搭建起来了,但是投入到业务使用中还面临着一些问题,当然MQTT设计之初也考虑了这一点,比如不是任何一个客户端都能链接到服务器和限制客户端能够对topic操作的权限附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/guide.html1.ACL鉴权先...
2018-04-08 15:09:48
7224
14
原创 EMQ百万级MQTT消息服务(优化和压测)
如果使用EMQ来承载百万级别的用户连接可以吗?官方的回复是8核心32G的配置能够承载160W台设备的链接,那就究竟性能如何呢?只有你自己试了才知道,本节就带着大家一起有调优系统配置和对EMQ进行压力测试来一探EMQ的庐山真面目附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2...
2018-04-08 15:09:16
15692
22
原创 EMQ百万级MQTT消息服务(介绍和搭建)
先上节了解完MQTT之后我们需要选择一个MQTT服务端,在MQTT官方推荐下找了找最后选择了使用EMQ来进行服务端实现,EMQ有什么优势可以在官方推荐的那么多的服务器实现中脱颖而出,本章就来和大家一起慢慢了解EMQ相关的特性附上:喵了个咪的博客:w-blog.cn EMQ官方地址:http://emqtt.com/ EMQ中文文档:http://emqtt.com/docs/v2/...
2018-04-08 15:08:40
8307
原创 IOT设备通讯协议MQTT
哈喽大家好呀!笔者的公司最近在做IOT设备相关的业务,基于这个契机寻找学习了一下关于IOT通讯协议相关的内容,最终在技术选型上选择了使用MQTT协议并且结合EMQ上层MQTT中间件实现提供链接服务,那么本轮博文就和大家来一起探讨学习有关IOT设备的相关特性和MQTT协议的本质.附上:喵了个咪的博客:w-blog.cnMQTT官方 : https://github.com/mqtt/...
2018-04-08 15:07:51
3050
原创 [Golang软件推荐] Golang通用连接池
连接池在编程中并不少见,链接数据库,redis等操作都需要连接池,否则就会出现并发问题,如果每次操作都建立一条新的链接将会大大消耗资源,笔者也是在使用thrift-Clinet链接Service端使用的时候出现了并发问题,然后找到了一个通用的连接池的库在这里分享给大家.附上:喵了个咪的博客:w-blog.cn go-commons-pool-Github地址:github.com/j...
2018-03-10 11:32:51
3225
1
原创 [Golang软件推荐] RSA公私钥加解密(解决Golang私钥加密公钥解密问题)
安全是软件开始中很重要的一个环节,在金融场景以及设计资产的场景下更是如此,在加密算法中主要使用较多加密方式分别是对称加密和非对称加密,对称加密中的代表是AES,DES,3DES等,非对称加密中使用比较多的是RSA,ECC等,最近火热的比特币中就使用ECC椭圆曲线算法,本篇文章主要是笔者在使用Golang在使用RSA中使用私钥加密公钥解密中遇到的问题,以及寻找的解决方案进行阐述,希望可以帮助到大...
2018-02-26 17:54:16
6705
2
原创 Goalng软件包推荐
前言哈喽大家好呀! 马上要迎来狗年了大家是不是已经怀着过年的心情了呢? 今天笔者给大家带来了一份礼物, Goalng的软件包推荐, 主要总结了一下在go语言中大家开源的优秀的软件, 大家了解之后在后续使用过程有遇到如下软件可以解决的问题可以来本篇文章寻找对于的软件PS:这里的软件笔者并未全部测试过但是标有(已使用)的字样是笔者在实际过程中有使用到的请大家放心使用PS:这里提供的...
2018-02-09 15:27:50
1486
原创 [喵咪大数据]Presto查询引擎
如果大家正在按照笔者的教程尝试使用大数据组件还是之前有使用过相关的组件,大家会发现一个问题HIVE在负责的查询下调用Mapreduce会很慢,在这个场景下就涌现出很多查询引擎来优化,比如大家熟悉的Spark-SQL,Impala,kilin已经今天的主角Presto, Presto以速度和极强的扩展性取得了胜利,不仅能够提高对HIVE数据查询速度还能和异构数据库进行关联查询,比如HIVE和Mysq
2018-01-22 11:19:24
1808
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人