- 博客(49)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Operator 开发实践 六 （API分组）
比如如果要实现一个ai-operator项目，其中可能包含模型训练相关的控制器trainjob-controller和推理服务相关的控制器atom-controller。这行配置会告诉Operator后面新增的API不要放到api/目录下，而是放到 apis/目录下;这个命令的能力其实非常有限，它只是在Dockerfile文件中将api目录变成了 apis/目录，然后在 PROJECT文件 中加了一行multigroup:true。这时旧版的API就被挪动到合适的目录了。
2023-10-24 17:49:46
121
原创 Operator 开发实践 五 （多版本API）
一般情况下，开发一个新项目，它的API是会经常变更的,不管一开始考虑得多么详细，都避免不了迭代的过程中去修改API定义。过了一段时间后，API会趋于稳定，在达到稳定版本之后，可能才正式发布V1.0版本。当然，这个稳定版的API就不应该再变化了，到了下一个版本想增强一下这个API，可能需要发布V2.0版本，这时V1.0版本还是要能够继续正常工作。我们来看看Operator中是如何支持多版本API的。
2023-10-20 18:36:27
237
原创 Operator 开发实践 四 （WebHook）
我们知道访问Kubernetes API有好几种方式，比如使用kubectl命令、使用client-go之类的开发库、直接通过REST请求等。不管是一个使用kubectl的真人用户，还是一个Service Account，都可以通过API访问认证，这个过程官网有一张图描述得很直观当一个访问请求发送到API Server的时候，会依次经过认证、鉴权、准入控制三个主要的过程。Admission Webhook就是这里提到的“准入控制”的范畴.
2023-10-18 17:01:13
572
原创 Operator 开发实践 三 （编写调谐逻辑）
在之前文章中我们创建了operator项目以及自定义了API，并且将主要的调谐逻辑也编写好了。我们接下来开始编写调谐deployment与service主要流程。
2023-08-18 17:38:31
259
原创 Operator 开发实践 二 （定义API对象）
我们打开api/v1/atom_types可以看到以下代码Operator的核心逻辑就是不断调谐资源对象的实际状态和期望状态 (Spec) 保持一致。这里的Status当然不是严格对应“实际状态”，而是观察并记录下来的当前对象最新“状态”。大多数资源对象都有Spec和Status两个部分，但是也有部分资源对象不符合这种模式，比如ConfigMap之类的静态资源对象就不存在着“期望的状态”这一说法。
2023-08-07 19:34:26
175
原创 Operator 开发实践 一 （创建项目）
Kubernetes（K8s）的自定义资源（Custom Resource Definitions，简称CRD）是一种扩展Kubernetes API的方式。Kubernetes本身已经有很多内建的API资源，如Pod、Service、Volume等。但在一些特定场景下，这些内建资源可能无法满足所有需求。此时，可以使用自定义资源来定义新的资源类型。自定义资源是API的扩展，可以将其视为数据库的模式，它说明了一种新的对象类型的名称、结构、行为。
2023-08-07 16:39:49
214
原创 Client-go操作Deployment
在这种模式下，删除操作会首先返回删除的资源，然后在后台删除关联的依赖对象。在 Kubernetes API 中，前台级联删除的表现形式是：首先将删除的对象的。这里提一句Selector中"app": “nginx” 和 Template中是一样的，因为Deployment是通过标签关连到所属副本中pod的。此处的操作为现将之前创建好的dp获取到，然后进行nginx镜像版本的变更，随后进行使用客户端进行更新操作。在接下来的操作中，将nginx的版本变更一下，来达到修改的目的。代码编写完成打包成二进制。
2023-08-07 10:33:37
680
原创 python模拟加密爬取诸葛
第一点就是有些网站会进行前端反调试，手段之一就是会检测开发者工具是不是打开，而且如果我们把代码拿到本地，竟然还会检测本地代码是否是展开的？第二点就是代码混淆的方式，有些网站会用_0xxxx等操蛋的符号以及使用16进制来迷惑我们，想要还原的话直接打印一下就可以，js也能读取16进制注意：尽量不要在herders中加入Host和Referer两个参数，平台的也不能使用，因为平台会根据这个来判断你是不是spider？第二点就是代码混淆的方式，有些网站会用_0xxxx。
2023-07-31 18:13:37
334
原创 聚集如云,分散如风(Sentry)
此日志系统充分的将多项目的报警日志统一管理起来，方便开发人员监控报警日志，在项目运行期间可以第一时间明确错误原因，不再需要在服务器中进行日志的查看，把精力花在刀刃上！
2023-07-31 18:04:47
305
原创 centos7部署websocket
装载uwsgi#安装依赖 yum install python36-devel #安装 pip3 install uwsgi #设置软连接 ln -s /usr/local/python3/bin/uwsgi /usr/bin/uwsgi #进入项目目录启动服务 uwsgi --http :8000 --module Httpdweb.wsgi。
2023-07-20 15:11:37
850
原创 Jira、Confluence数据迁移
注意：数据库备份时最好使用root账号，否则可能会出现其他账号没有备份权限的问题本次迁移亲自测试无错，方法上还是比较方便的，参考需谨慎，把数据搞丢了就太可惜了。本次教程ubuntu、centos7都可以使用，原则上来讲只要是数据库有备份就不怕再挂掉，此方法简单明了。
2023-07-20 15:04:38
1085
原创 Gdal win版与centos7平台
GDAL提供对多种栅格数据的支持，包括Arc/Info ASCII Grid(asc)，GeoTiff (tiff)，Erdas Imagine Images(img)，ASCII DEM(dem) 等格式。
2023-07-12 18:45:04
127
原创 FastDFS集群搭建
所有的机器的防火墙全部关闭，如果是阿里云的话把该用到的端口全部设置安全组如果日志文件遇到status 2！=0的报错那就关闭那台机器的防火墙上传文件成功访问不了的，先检查配置文件，如果还不行就在nginx.conf的第一行写上user root；
2023-07-12 18:39:45
232
原创 分布式存储系统集成FastDHT文件去重
这里需要将共享lib放到 FastDHT 能搜寻到的位置，或者直接配置到FastDHT的配置文件内，这里让 FastDHT自己查找。FastDHT启动依赖Berkeley DB的共享lib，如果不共享，日志中会出现so的错误。
2023-07-12 18:35:14
58
原创 使用Hexo快速搭建博客网站
执行如下命令生成静态文件（public文件夹），并提交到码云或码云远程仓库上。如果不能提交，请先去码云设置SSH公钥给计算机授权。
2023-06-26 11:14:46
58
原创 Fdfs_client包下的坑!
*我把linux上的python3.6换成了python3.7，Django的版本换成2.0.3，完全和windows上面的一致 **本来在windows下面好好的代码为什么到linux上面就不行了呢，还说我必须要返回字符串的类型，不是元祖？**这又是什么鬼，明明有这个包，为什么说没有，重新下载 下载完成之后启动服务 **
2023-06-26 11:06:23
277
原创 分布式存储系统集成FastDHT文件去重
这里需要将共享lib放到 FastDHT 能搜寻到的位置，或者直接配置到FastDHT的配置文件内，这里让 FastDHT自己查找。FastDHT启动依赖Berkeley DB的共享lib，如果不共享，日志中会出现so的错误。
2023-06-26 11:00:14
76
原创 部署Nginx+FastDFS
可以到网盘下载压缩包：https://pan.baidu.com/s/101N4Rg71hrTzL9-wmQAYlA。
2023-06-01 23:58:19
162
1原创 从无到有封装一个Docker镜像(不含dockerfile)
*启动以后会出现在桌面的右下角区域，鼠标放上去以后显示Docker is running表示启动成功 **
2023-05-17 23:03:42
561
原创 基于Linux装载nvidia驱动，docker挂载本地显卡
这次主要是介绍linux显卡的装载使用过程，也是自己的心得体会，毕竟当时自己实践的时候栽了不止一次，有人问docker中加载本地显卡有什么用，其实docker中如果运行的程序需要显卡资源的话那么就用得上了。
2023-05-17 22:52:37
1994
原创 浅谈微服务架构
传统的服务一般被称为单体式开发(Monolithic), 所有的功能打包在一个WAR中，基本上所有的功能都在内部，包含在一个容器中，内含DO/DAO,、Service等所有的逻辑。下，服务A接收到请求后会与服务B进行通信，类似地，服务B会同服务C进行通信。Nameko: python的微服务框架，可以轻松建立起一个微型服务，使用RPC和事件驱动方式进行服务函数调用，支持异步通信和消息传递模式。多服务运维难度，系统部署依赖，服务间通信成本，数据一致性，系统集成测试，重复工作，性能监控等。
2023-05-08 15:09:41
513
原创 一文读懂Graphene中的Interfaces、Union、Mutation
当schema时，resolve通常会返回数据的对象，而不是类型的实例（例如Django或SQLAlchemy模型）。这两种类型都具有Character接口中的所有字段，但也引入了特定于该特定类型角色的额外字段home_planet、starships和primary_function。注意，联合类型的成员需要是具体的。任何实现Character的ObjectType都将具有这些精确的字段，以及这些参数和返回类型。属性是突变创建者需要解析的参数，在这种情况下，name将是突变的唯一参数。
2023-04-14 19:27:12
149
原创 suds对接WebService的安全认证及WSDL Schema修复
在服务调用期间，可以使用soapheaders选项传递自定义SOAP标头。自定义soap头被定义为服务所需的头，而不是在wsdl中定义的。不能使用已经描述过的传递soap头的简单方法。在Python 2.7.9，SSL/TLS验证在默认情况下处于启用状态。当对具有自签名证书的端点使用suds时，这可能是一个问题，这在企业内部网中很常见。在suds中关闭证书验证的一种方法是使用自定义的传输类。
2023-04-10 15:07:41
432
原创 suds对接web service
通过交换自定义，可以自定义suds的各种行为方式初始化带有列表的可选阵列在一些未发布的suds-jurko版本中，所有children元素都填充了空列表。这在suds社区中被修复为一种回归。这可能是所需的行为，因为它简化了构造复杂的请求。
2023-04-10 10:18:45
473
原创 回忆人生第一台电脑
之前的公司是做三维数字地图的，因为天天需要跑模型、跑路网数据，导致电脑CPU、GPU天天也是处于满载状态。一直用到2020年9月份，电脑终于不行了，跑个代码天天真的是跟开飞机一样，风扇响的跟要起飞一样。为了让它早点退休养老，我换了mac。截止到今天，电脑一直在我柜子里放着，重制了系统之后还是非常流畅的，但是没怎么打开过它，也不舍得买掉;毕竟它是我入行以来一直罩着我的堡垒，从来没掉过链子，也是它让我得以学到了更多的技术。回忆起自己的第一台电脑也算是有一些故事的，毕竟那台电脑陪伴了我整整3年的代码时光。
2023-04-04 22:52:34
60
原创 一文读懂graphene的ObjectType以及Resolve的用法
但是，当在schema的其他部分或查询变量声明中使用类型时，可以应用其他类型修饰符来影响这些值的验证。解析程序方法（父级）的第一个参数是从父字段的解析程序返回的值对象。如果没有父字段，例如根查询字段，则父字段的值将设置为执行查询时配置的root_value（默认为None）因此，在前面的示例中，可以使用Person来捕获ObjectType的每个字段的数据。它对参数的作用相同，验证步骤需要该值的列表。中字段的数据来返回查询的方法，它是延迟执行的，因此查询中如果不包含字段，则不会执行解析程序。
2023-04-04 15:10:21
119
graphene如何生成数据库对应的schema
2023-04-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人