云原生
文章平均质量分 78
小白白白又白cdllp
数据挖掘,数据分析,数据市场
展开
-
VGPU的使用
开源项目,欢迎star哦,训练AI模型以及部署模型推理服务时,GPU往往是必不可少的,但当我们机器上没有足够的GPU卡可使用时,多任务并行就会有困难。针对这个问题,cube-studio上可以使用VGPU,相当于将一张GPU卡当成多张来使用,从而实现多卡多应用占用。以下我们举例说明,如何通过VGPU配置,实现推理服务的VGPU占用。原创 2024-07-02 20:51:47 · 363 阅读 · 0 评论 -
k8s部署presto
这个报错的原因是没有装less,是presto用来分页的工具,在初始化脚本里已添加了,加上之后就没问题了。虽然能正常使用presto了,但是k8s中显示presto-worker的deployment有BUG,,自己打包也可以,自己写个dockerfile。jdk用的华为的镜像源,不用登录oracle。启动脚本和Presto配置文件。,应该是健康检查出了问题。,记得在环境变量里加上。配置Hive连接文件。原创 2024-05-23 16:55:32 · 843 阅读 · 0 评论 -
k8s中部署hive,包括客户端及服务端
推送好之后,在cube studio平台上,新建一个pipeline,使用自定义镜像模板,填写镜像为ccr.ccs.tencentyun.com/cube-studio/hadoop-hive:v3.3.2-3.1.3,debug,检查目录对不对,检查环境变量是否正确,在命令行输入hive命令,看是否能正常执行。环境变量写在/etc/profile更好,因为~/.bashrc是临时的,重启一下pod就复原了,但/etc/profile是全局的,避免一直要重复设置。登录ui界面,可以验证是否成功。原创 2024-05-16 16:34:33 · 1272 阅读 · 0 评论 -
在k8s中部署hadoop后的使用,包括服务端及客户端(客户端的安装及与k8s服务的对接)
在和这两篇文章中,说明了如何通过helm和k8s部署hadoop,接下来就看怎么在部署好的集群中使用hadoop了。原创 2024-05-09 21:52:31 · 1436 阅读 · 2 评论 -
k8s部署hadoop
配置和模板参考helm仓库:https://artifacthub.io/packages/helm/apache-hadoop-helm/hadoop。原创 2024-03-15 21:52:28 · 817 阅读 · 0 评论 -
helm部署hadoop
比如我现在只有1个datanode,我想改成3个datanode,复制粘贴配置信息到values.yaml(没有就自己创建),更改datanode的replicas为3,先卸载,再重新执行install命令。如果需要修改配置,在官方仓库中,点击default values按钮,可以获取默认的配置,将配置信息粘贴到values.yaml,通过helm uninstall卸载后,再通过命令。可以根据新配置重新部署。原创 2024-03-15 21:40:34 · 579 阅读 · 3 评论 -
k8s部署InfluxDB
pv和pvc都创建成功,但dp显示no such file or directory,说明读取不到主机路径,修改了rancher的配置,加入了/home目录,就可以了。主机看到的和实际pv挂载的路径不一致,实际默认根目录是/data.根据配置文件创建configmap。原创 2024-03-13 23:36:32 · 646 阅读 · 0 评论 -
使用helm部署clickhouse
这个问题的解决方案,目前只找到一个修改权限,改为root权限的,可能不是最好的,但修改后确实pod可用了,具体是将zk-clickhouse的yaml文件中的spec部分修改securityContext,原来都是1000,没有创建文件的权限。ot权限后,再重启pod依然是ok的,猜测可能是后续不需要再创建文件夹了,因为挂载目录下的文件夹已经存在,其他操作又都不需要root权限。比较神奇的事情是,一开始不是root权限,修改为root权限后,文件夹创建成功,再修改为非ro。部署clickhouse客户端。原创 2024-03-11 18:07:58 · 1051 阅读 · 0 评论 -
dolphin schedulerAPI调用(二)——创建任务
工作流code、项目code、上流节点code等可以在后端是数据库查询,可以在k8s上查看一下起的数据库是mysql还是postgresql,我这边是postgresql,根据values.yaml中配置的账号密码信息登录到数据库,可以查询到code。实际使用中,发现文档写得很不全乎,创建任务的api接口不对,具体的传参文档中也没写全,于是决定直接在前端查看创建任务实际调用的api,以及传递的参数。打开dolphinscheduler的界面,右键,检查,选择network,提交任务,查看api及参数。原创 2024-03-11 14:27:32 · 1174 阅读 · 6 评论 -
dolphinescheduler调用API
language=zh_CN&lang=cn,我是用k8s部署的,所以ip和端口是由service决定的,一般访问文档是在集群外的机器访问,要记得把dolphinscheduler-api的service中的type改为NodePort,端口也不一定是12345,要看你的service暴露的是哪个端口。官方的api使用文档:https://dolphinscheduler.apache.org/zh-cn/docs/3.2.1/guide/api/open-api。返回结果显示创建成功,上ui看看。原创 2024-03-05 21:44:05 · 1472 阅读 · 0 评论 -
dolphinscheduler试用(一)(边用边修bug。。。。create tenant error)
我这个是standalone,修改/home/apache-dolphinscheduler-3.1.8-src/deploy/kubernetes/dolphinscheduler/values.yaml,我的resource.storage.type本身就是HDFS,所以只改动resource.hdfs.fs.defaultFS: file:///,重新用helm部署一下,再用就可以创建租户了。工作流创建完成后,默认是下线状态,点击“上线”,再点击运行,即可运行工作流。项目管理-创建项目-保存。原创 2024-03-05 17:17:06 · 918 阅读 · 0 评论 -
在k8s上部署dolphinscheduler
1.下载安装包,下载地址:https://dolphinscheduler.apache.org/zh-cn/download/3.1.8,通过命令wget -c https://archive.apache.org/dist/dolphinscheduler/3.1.8/apache-dolphinscheduler-3.1.8-src.tar.gz下载;以下步骤安装的是二进制版本,如果通过脚本安装,可以直接参考链接:https://helm.sh/docs/intro/install/。原创 2024-03-04 21:16:26 · 1456 阅读 · 2 评论 -
k8s单机部署zookeeper
参考文章:https://blog.csdn.net/fushan2012/article/details/129556052。出现以上图片,表示可以正常执行zookeeper。原创 2024-03-01 21:26:35 · 419 阅读 · 0 评论 -
k8s部署mysql
一、前置条件已部署k8s,服务端版本为1.21.14二、部署mysql执行下面的命令来创建configmap。mysql默认都是Root用户,所以只填了个密码。执行下面的命令来创建pv及pvc。kubectl创建deployment。这一步一开始我mountPath搞错了,然后在k8sdashboard上看pod日志才发现哪里错了,所以验证有问题时要注意排查。kubectl创建service。原创 2024-02-29 15:43:33 · 592 阅读 · 0 评论 -
K8S部署postgresql
主要是要注意其中selector的app和metadata中的app名称要一致,另外引入的configmap名称要和前面的configmap一致等等。创建好yaml文件后,通过kubectl创建deployment。replica写1就好,数据库的副本数一般1就够了,避免读写冲突。注意targetPort要和deployment暴露出来的一致,否则无法转发到deployment创建的pod。同样,写好yaml之后通过kubectl apply -f创建service。4. 创建deployment。原创 2024-02-28 21:24:07 · 1847 阅读 · 0 评论 -
机器学习平台cube studio部署
(作者:陈玓玏)想要部署机器学习平台,但平台对机器还是有一定要求的,所以在腾讯云购买了一台服务器,配置信息如下,以避免在部署过程中因为机器的性能问题而部署失败。购买完成后,直接登录服务器,是酱紫的打开机器学习平台的主页,网比较好就看https://github.com/tencentmusic/cube-studio,网不太好就看https://gitee.com/data-infra/cube-studio,滑到平台部署那个位置,直接看怎么部署!部署流程和所需环境在install/readme.原创 2022-05-27 09:07:06 · 4664 阅读 · 3 评论 -
2021及之后的云原生预测
原文地址:https://www.aniszczyk.org/2021/01/19/cloud-native-predictions-for-2021-and-beyond/本文内容翻译自Chris Aniszczyk的个人博客我希望每个人都能度过一个美好的假期,因为2021年1月的头几个星期,从暴动到新的COVID毒株都相当疯狂。 在云原生领域,CNCF最近发布了有关我们去年完成的所有工作的年度报告。 我建议大家趁此机会阅读这份报告,鉴于大流行情况,我们度过了坚实的一年。https://twitte翻译 2021-04-08 11:28:36 · 1071 阅读 · 0 评论