PaaS
文章平均质量分 85
泰克轱辘儿
简述不能为空
展开
-
IMBroker —— 基于FaaS的跨平台群消息工具
IMBroker是用于在飞书、企业微信、钉钉、微信及其他企业内部即时通讯工具之间的消息传递。它基于FaaS平台Knative实现,将消息的收和发设计为函数实现,使用FaaS的事件驱动机制进行解耦和通讯,实现对底层资源使用的最大弹性。当前代码仅为概念验证使用,无数据存储机制。当前部署仅能用于实践FaaS事件驱动,并且只实现了将发到飞书群里的消息转发到企业微信群,至少需要完成文末第1条Issue方可生产使用。成功安装knative的前提是必须有能下载镜像的代理服务器,否则就去找个现成的Knative吧。....原创 2022-08-27 23:44:40 · 458 阅读 · 0 评论 -
Ray+GPU支持高性能计算
国内证券行业的估值定价、风险管理和量化研究,终于开始需要高性能计算了。10年前,我就试图把用搭建的网格计算集群拉进这样的场景,不过安装好两个星期后,还是拆掉将机器变成虚拟机用了。10年后的今天,硬件、软件、开发语言、数据量级都不一样了,但鼓捣调度资源,完成计算任务的集群还是像之前那么好玩。...原创 2022-08-07 13:47:31 · 943 阅读 · 0 评论 -
在win10上搭建完整Kubernetes、Istio、Prometheus、Grafana和Knative
在win10上用Hyper-V虚拟化引擎里的Ubuntu虚拟机安装k8s、prometheus、grafana、istio和knative,得到可运行云原生负载的k8s集群、prometheus和grafana监控、istio服务网格框架环境、函数计算环境原创 2022-07-19 16:22:51 · 918 阅读 · 0 评论 -
Greenplum数据库扩容实务(上)-准备工作
任何分布式系统都要面对的事儿就包括扩容,不然分布式系统存在的意义就大打折扣了,这篇就介绍一下对GP进行扩容的准备过程,事实上,扩容的实施是个非常简单的过程,主要要做的就是准备。原创 2015-05-21 13:46:15 · 2755 阅读 · 0 评论 -
Greenplum数据库升级实务(上)
任何系统的升级都有个量变到质变的过渡:版本相差小的时候,通常很简单,版本相差大的时候,就是一场噩梦。不过版本相差小的时候,大伙儿往往安于现状。本文实际记录从GP4.2.7.2到4.3.5.0的升级过程,从版本号看相差不大,但是GP的版本命名中,第二位的变化就已经是大升级了。另需说明的是,本文升级的GP数据库规模不小,用户较多,管理混沌,在加上GP实在是有点儿脆弱(相比oracle等),所以遇到了较多原创 2015-05-18 15:10:25 · 4059 阅读 · 0 评论 -
Greenplum数据库扩容实务(下)-实施收尾
GP扩容的实施其实就是一条命令,最耗费时间的是实施之后的数据重分布,也就是把数据从已有节点平衡到新的seg host上,这篇将描述实施、收尾过程,并给出些常见问题。原创 2015-05-21 13:49:10 · 3426 阅读 · 0 评论 -
Pivotal Cloud Foundry安全原理解析
云计算相关的技术几乎都对传统网络架构和安全规则产生一定的冲击,Pivotal Cloud Foundry(PCF)也不例外,去年8月为了说服专业安全组织同意PaaS部署方案,特意为他们深入讲了下PCF的安全机制,虽然这种原理性的东西不符合开博的宗旨,但是为了防止大家也要说服这样的组织,分享出来也算是云计算实务的一部分。原创 2015-06-24 09:20:08 · 3900 阅读 · 0 评论 -
Greenplum数据库升级实务(下)
上篇介绍了准备,这篇完成升级过程。原创 2015-05-18 15:13:10 · 2328 阅读 · 0 评论 -
与Greenplum度过的三个星期
5月4日-5月24日,断断续续折腾了三个星期的Greenplum,总算告一段落了:扩容,发现扩不成容,只好升级;升级,发现一堆错误,只好暂停修复数据库;修好了,继续升级;升完级,发现错误,修啊修啊修好了;最后,终于完成了扩容。这个过程里写了8篇博文把实施过程和问题解决都记录下来了,这里把整个过程总结一下。本来早就要写了,可家里外头一堆事儿,拖到今天才找个空来落笔。原创 2015-06-09 16:10:50 · 3773 阅读 · 4 评论 -
Greenplum闰秒故障的分析解决
2015年7月1日上午,国家授时中心增加了7:59:60这个时间来处理闰秒问题。对于使用网络时间协议进行时钟同步的操作系统而言,实在是不应该有什么问题才对,因为即使没有这多出的一秒,系统时钟不准个几秒也是常有的事儿啊。但是部分Linux(比如RHEL 6.2 64bit)上的部分应用(比如Greenplum数据库,也包括java和mysql这些)需要读取硬件时钟和系统时钟,这二者不一致时,就跑不动原创 2015-07-17 15:39:22 · 1863 阅读 · 1 评论 -
如何解决Greenplum的gpcheckcat关于persistent的错误
Greenplum的gpcheckcat是用来检查system catalog的一致性的命令,其中有专门针对磁盘文件的检查($GPHOME/bin/lib/gpcheckcat -R persistent -p 5432 databasename),主要是对于system catalog里关于磁盘文件的记录与实际磁盘文件的情况的一致性检查。本文结合一个实际错误介绍如何解决这类元数据错误。原创 2015-05-14 22:42:53 · 2323 阅读 · 2 评论 -
如何解决Greenplum pg_dump备份时的分布策略缺失等问题
Greenplum的元数据错误也会影响到数据备份过程,在使用pg_dump进行数据结构备份时,会由于分布策略的缺失导致备份失败,本文介绍此错误的解决办法。原创 2015-05-14 11:28:13 · 3165 阅读 · 0 评论 -
如何解决Greenplum中无法通过标准命令修复的元数据错误
Greenplum的可靠性还是没法和传统商业数据库相比,它跑着跑着就会把自己的元数据给跑乱,有些是可以通过命令修复的,有些则只能直接去增删改system catalog。本文结合一个具体错误,介绍如何操作system catalog解决元数据错误。原创 2015-05-13 08:32:28 · 4187 阅读 · 0 评论 -
11家PaaS公有云供应商服务功能要点比较
在写Cloud Foundry之前,先预热一下。2014年7月,为企业PaaS云建设,个人对11家PaaS公有云供应商的服务内容进行了调查,共享出来,供进行PaaS项目建设的同仁参考。所有调查内容为2014年7月的状态,受限于项目建设目标,调查的范围主要是运行环境和MySQL数据库服务。原创 2015-03-19 16:12:43 · 4428 阅读 · 0 评论 -
Cloud Foundry service broker开发部署实例解析(上)
Cloud Foundry(CF)通过buildpack扩展运行不同语言应用的能力,通过service broker(SB)扩展支持应用所需的各种关系数据库、中间件、缓存、云存储、内存数据库等各种服务的能力。这篇博文将从头至尾介绍通用的SB开发和部署。原创 2015-03-26 17:02:21 · 3799 阅读 · 0 评论 -
Cloud Foundry service broker开发部署实例解析(下)
通过上篇,我们得到service broker的程序包,之后我们将其部署到CF上,得到真正能使用的市场服务。发布应用程序将源代码中的application.properties里的spring.jpa.hibernate.ddl-auto配置为create,编译打包发布到CF上:cf push samplebroker -p ./cf-sample-servicebroker.jar创建一个M原创 2015-03-27 14:32:37 · 2790 阅读 · 2 评论 -
Cloud Foundry安装部署指南(上)
本文介绍在基于VMware技术的虚拟机资源池上,部署Pivotal Cloud Foundry(PCF)的过程。Pivotal对Cloud Foundry(CF)进行了商业化包装,虽然其部署过程现阶段还没有简单到vSphere产品线的水平,但是比开源版本的部署要容易的多。原创 2015-03-24 14:42:18 · 10342 阅读 · 0 评论 -
Cloud Foundry buildpack开发部署实例解析
与service broker相比,buildpack的实务操作就容易多了,单就通用概念来说,其实用不着单写一篇,但是处女座强迫症发作,所以还是写一下,使CF这个框架对外扩展的两个维度(代码使用的服务和代码运行的环境)是完整的。这篇主要会写buildpack的基本实现逻辑,然后举三个需要修改buildpack的需求,进行实际操作描述。原创 2015-04-13 15:39:37 · 3440 阅读 · 0 评论 -
如何配置和使用Pivotal Cloud Foundry里的HAPorxy(上)
Pivotal使用HAProxy作为其访问入口,当然是允许使用其他负载均衡软件或硬件进行替换的。不过,基于怕麻烦和强迫症,个人还是用了HAProxy到最终的生产环境。为了满足特定的应用需求和可靠性需求,对负载均衡这一层做了一定的配置,本文通过四个案例共享这些经验。原创 2015-04-14 14:00:01 · 2260 阅读 · 0 评论 -
如何配置和使用Pivotal Cloud Foundry里的HAPorxy(下)
前一篇写了HAProxy自己的LB和证书的使用,这篇主要是关于安全还有可靠性的。原创 2015-04-15 08:45:55 · 2384 阅读 · 0 评论 -
Spring程序读取Cloud Foundry服务信息示例代码
Cloud Foundry提供的服务实例本质上就是访问信息:IP、端口、用户名、密码等,使用的过程当然可以写死在代码或配置文件里,但是高级一点儿的办法当然是让程序可以自动按照环境适配服务实例信息,切换数据库,消息中间件,云存储等代码连接的位置。这篇先写一下在web.xml里配置了listener的spring程序如何自动获取CF的服务实例信息,示例代码由Maven管理。原创 2015-04-30 10:01:04 · 1520 阅读 · 2 评论 -
如何解决Greenplum master node与seg node元数据不一致
作为分布式数据库,Greenplum的元数据经常(是真的,经常遇到)会出现些错误,典型的一个是master node与seg node元数据不一致,本文结合一个具体错误,介绍下解决的办法。原创 2015-05-12 13:00:51 · 2746 阅读 · 0 评论 -
Cloud Foundry安装部署指南(下)
上篇介绍了Pivotal Ops Manager和Operations Manager Director for VMware vSphere的安装配置,完成了与IaaS层的连接,现在开始正式配置CF的运行环境(含buildpack)和服务。原创 2015-03-25 08:51:08 · 3011 阅读 · 0 评论