本地搭建docker仓库 现在dockerhub访问经常出现timeout的问题,导致每在一台新的机器上拉取镜像要么timeout要么需要自己架梯子,非常麻烦,而且下载次数太多了还会受限制。所以希望自己在一台服务上搭建一个私有仓库,其余的机器能够通过私有仓库来进行镜像的拉取推送。
记录一次gnome桌面系统崩溃问题解决 在一次安装依赖环境后重启服务器发现gnome崩溃,无法进入桌面系统出现错误“系统出错且无法恢复,请联系系统管理员”经过反复的排查发现是“yum install -y glib2-devel.x86_64 ”的问题,但是一直解决不了,重装系统之后同样会出现此问题,在anlios8.4系统中可以稳定复现。最后的解决办法:备份数据并重装系统挂载iso镜像配置本地源,安装依赖的时候用iso做本地源。
K8S中flannel镜像下载问题 在尝试部署K8s集群的时候发现flannel镜像一直pull不下来,但是我已经给shell和docker都挂上了代理,使用docker pull也能够访问docker hub,经过排查发现问题是我使用的运行时是contained,需要给contained也添加代理才可以。再次使用kubectl get nodes -A查看发现问题解决。注意代理换成自己代理对应的ip和端口。
启动qemu虚拟机failed to parse default acl file `/etc/qemu/bridge.conf‘ qemu-system-x86_64: -netdev bridge 经过排查发现`/etc/qemu/bridge.conf'文件确实不存在。解决办法:(virbr0按需替换成自己的启动参数)记录一次启动虚拟机失败。
docker:记录如何在x86架构上构造和使用arm架构的镜像 为了国产化适配,要求讲原先在x86上的docker镜像重新打包为能够在arm上使用的docker镜像。docker提供了构建多平台镜像的插件buildx,
vscode无法远程连接服务器错误: 远程主机上似乎禁用了 TCP 端口转发。确保 sshd_config 具有 AllowTcpForwarding yes。如有需要,请与系统管理员联系。 在打开的`sshd_config`文件中,找到`AllowTcpForwarding`这一行(可能已被注释掉)。通常,SSH配置文件位于 `/etc/ssh/sshd_config`。对于`nano`,按`Ctrl + X`,然后按`Y`确认保存,再按`Enter`退出。使用您习惯的SSH客户端(如命令行的`ssh`命令或第三方SSH工具)登录到远程服务器。**步骤 3:查找并修改`AllowTcpForwarding`配置项**如果原本是注释掉的(以`#`开头),去掉注释符号`#`。
pandas库的to_csv精度丢失问题 最近在用python处理数据的时候发现了一个问题,在使用pandas库将数据保存为csv文件时发生了精度丢失,在转换之前数据的精度为18位,转换为csv文件后使用pandas.read_csv重新读入发现精度缺失,精度仅为16位数。经过多次查找找到了一种简单的解决办法,在使用pandas.read_csv时加入dtype=str,通过以上方式发现精度没有发生丢失,我们还可以在使用to_csv时指定保留的小数位数。
XGBoost学习笔记 最近在研究FATE的secureboost算法模块,发现secureboost算法在金融银行等数据集上表现的非常不错,了解到secureboost是基于XGBoost实现的,因此打算了解一下有关XGboost算法相关的内容,并在此记录一下。此篇博客参考了很多前辈的博客和内容,如果本篇内容有不懂的可以点入给出的链接中查看
安装配置MP-SPDZ以及创建MP-SPDZ库的docker镜像 MP-SPDZ 0.3.4版本集成了很多外部依赖库,包括libOTe等,在安装配置的时候可能会出现一些预想不到的问题,以此纪录MP-SPDZ的本地安装配置过程以及docker镜像的制作。
使用Kubernetes部署一个带有exchenge结点的FATE联邦学习网络 本文记录如何使用KubeFATE部署一个以exchange为中央节点的联邦学习网络,这个网络包含一个exchange和若干个Party。由于官方文档年久失修BUG不断,因此自己记录一下配置过程。欢迎大家一起交流学习。
k8s部署nginx服务 由于部署nginx需要科学上网,所以记录一下如何用阿里云的镜像来部署nginx。2.给下载下来的nginx打tag,修改为官方镜像的名字。4.复制nginx的官方yaml文件到本地,地址在此处。3.删除刚刚下载的镜像,只保留打完tag的镜像。不想修改可以直接复制下边修改好的yaml文件。1.下载阿里云的nginx镜像。
CentOS7安装vscode并连接docker容器 点击右边的docker图标仅能看到本地所有的docker容器和镜像(我这里的docker里没有下载镜像和容器所以看不到,但是可以看到已经显示successfully connected)选中想要进入的容器,右键可以看到attach vscode,点击就可以连接到容器内部了,接下来可以使用vscode进行编码调试了。4、在vscode的扩展里依次找到docker、简体中文、remote-cintainer进行安装。5、安装成功后关闭code,并在控制台将当前用户组加入docker组。6、再次打开code。
Linux实现SSH免密登陆(包括两台电脑之间互相免密登陆) 完成上述命令后,使用 ssh 测试一下,第一次需要yes确认,以后再登陆则不需要秘密。如果要实现两台电脑之间的SSH免密登陆,首先确保两台电脑都成功执行上述步骤,ip地址换成需要配置的第二台电脑的IP,然后输入第二台电脑的密码,既成功。配置完成之后可在第一台电脑SSH连接第二台电脑测试。IP地址换成第一台电脑的IP,即可完成。在第二台电脑上执行相同的步骤,
K8s初探入门详细教程(二) 例如:本篇接续上一篇主要介绍使用VirtualBox部署K8S遇到的一些小问题以及calico和dashoboard的部署。K8s的一些基础功能和dashboard以及calico的安装到此已经全部完成了,接下来可以使用命令行或者dashboard界面来操作k8s了,如果再部署过程中遇到了新的问题欢迎留言。...
K8s初探入门详细教程(一) 什么是K8s?K8s是Kubernetes的简称,由于K和s之间间隔了8个字母所以叫K8s。Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。......
FATE联邦学习框架之KubeFATE部署(基于K8S)最详细过程 FATE(FederatedAITechnologyEnabler)是一个联邦学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和建模。但由于其系统的分布式特性,导致使用存在一定门槛。鉴于此,微众银行联合VMware一起开发了KubeFATE项目,致力于降低FATE的使用门槛和系统运维成本。本文将首先分析FATE的整体架构,帮助读者理解各部件的作用;然后将展示如何从一台Linux机器开始,通过KubeFATE一步一步来搭建联邦学习的实验环境。(这些全部都是官方的介绍大。