- 博客(761)
- 资源 (10)
- 收藏
- 关注
原创 docker 开启Remote API 访问 2375端口
常见docker端口包括:2375:未加密的docker socket,远程root无密码访问主机2376:tls加密套接字,很可能这是您的CI服务器4243端口作为https 443端口的修改2377:群集模式套接字,适用于群集管理器,不适用于docker客户端5000:docker注册服务4789和7946:覆盖网络。
2022-08-23 22:57:49 715
原创 GlusterFS 多个机器构建共享挂载目录
lsblk 查看磁盘配置hostsudo vim /etc/resolv.conf/etc/hosts安装glusterfsConfigure the Trusted Pool机器1:机器2然后在机器1和机器2上执行查看硬盘的UUID在两台机器上编辑/etc/fstab挂载 (将 /etc/fstab 中定义的所有档案系统挂上。)查看gluster 状态查看gluster volume...............
2022-06-27 22:49:36 1106
原创 tensorflow2 生产DLRM tfrecord数据
sok dlrm数据下载terebate数据:https://ailab.criteo.com/ressources/处理binary 为tfrecord
2022-06-27 17:09:15 437
原创 ssh “Missing privilege separation directory: /run/sshd“
报错信息:Missing privilege separation directory: /run/sshd解决办法:
2022-06-21 11:29:30 1404 1
原创 docker-compose Nginx 使用resolver配置,把不同的请求转发到不同的服务
我们看一下Nginx 如果通过resolver 进行配置,把不同的请求转发到不同的服务。docker-compose.yml其中/etc/nginx/conf.d/user.conf 里面配置了 dns resolveruser.conf:其中docker-compose 启动的nginx 内部默认的dns解析服务是127.0.0.11。我们可以通过输出:127.0.0.11通过127.0.0.11 dns 我们可以找到host 对应的ip输出:.........
2022-06-16 23:33:35 1627
原创 gsutil安装工具安装以及使用http代理下载
谷歌开源的模型下载:https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#lm-adapted-t511lm100kgsutil安装工具https://cloud.google.com/storage/docs/gsutil_install#linux配置 gcloud CLI 以在代理后面使用如何http 代理,需要设置gclound 代理....
2022-06-13 08:31:19 969
原创 ubuntu固定ip地址
首先请记得使用cp命令备份配置文件,然后使用vim命令将打开Netplan配置文件/etc/netplan/00-installer-config.yaml:network至少包含两个必需元素和一个可选元素。第一个必需元素是网络配置格式的版本version,第二个是设备类型。设备类型可以是ethernets,bonds,bridges或vlans。保存后,运行以下netplan命令,应用修改后的配置文件,使静态IP地址在当前会话中可用。然后再运行ip addr命令展示所有网卡的ip地址:...
2022-06-12 16:53:33 477
原创 docker-compose部署mongodb
首先建立mongodb的初始化bash, 后面会放入docker-compose.ymlmongo-init.shdocker-compose.yml
2022-06-07 13:35:25 3739 3
原创 tf grappler
构图的时候执行GraphExecutionState::BuildGraph 执行图优化的入口。然后通过GraphExecutionState::OptimizeGraph 内部调用 grappler::RunMetaOptimizer 进行图优化。通过MetaOptimizer::Optimize 进行真正的图优化。第一遍过滤掉只包含当前图的op的计算图 (optimized_graph)。MetaOptimizer:: OptimizeGraph(cluster, trimmed_i
2022-05-30 21:56:29 197
原创 golang rocksdb安装和使用
1、开发环境ubuntu182、下载 rocksdb wget https://github.com/facebook/rocksdb/archive/refs/tags/v7.2.2.tar.gztar xvzf v7.2.2.tar.gzcd rocksdb-7.2.2/make shared_lib -j9sudo make install3、安装其他依赖文档写要安装Linux - Ubuntusudo apt-get install libgflags-devsud
2022-05-19 13:06:31 1610
原创 mysql 表损坏如何修复
开启读模式/etc/mysql/mysql.conf.d/mysqld.cnf增加[mysqld]innodb_force_recovery = 6重启mysql 服务:sudo service mysql restart3.导出整个数据库mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u dbuser -p dbname > dbname.sql新建一个数据库并将步骤3的数据重新导入。5.关闭读模式/etc/mysql/
2022-05-07 16:49:34 707
原创 Linux设置swap交换区为0
1.永久生效:编辑/etc/fstab隐去# /swapfile none swap sw 0 0然后执行命令:swapoff -a2.临时:修改swappiness值为0sysctl vm.swappiness=0刷新SWAP可以执行命令刷新一次SWAP(将SWAP里的数据转储回内存,并清空SWAP里的数据)swapoff -a &&
2022-04-17 14:28:21 3783
原创 nvidia-docker2
按照本文步骤执行前,你需要安装好:nvidia驱动:Kubuntu 16.04上安装Nvidia GPU驱动 + CUDA + cuDNNdocker:Get Docker CE for Ubuntu还需要安装好docker-compose: Install Docker Compose使用的是新版本的docker (>=19.03),则推荐使用nvidia-container-toolkit包来代替nvidia-docker2包:# Add the package repositories
2022-04-09 11:26:19 4400
原创 docker 容器网桥
1.创建网桥docker network create --driver bridge kubeasz-test2. 连接网桥一种是在创建容器时链接网桥:docker create --name [容器名称] --network [网桥名称] [镜像名称]一种是在容器运行时链接网桥:docker network connect [网桥名称] [容器名称]3. 查看所有网桥docker network ls4.查看某网桥的配置信息docker network inspect [网桥
2022-04-02 17:34:07 1432
原创 linux 通过命令行打印本机IP
通过下面的命令行打印本机器的ipHOST_IF=$(ip route|grep default|head -n1|cut -d' ' -f5)HOST_IP=$(ip a|grep "$HOST_IF$"|head -n1|awk '{print $2}'|cut -d'/' -f1)echo $HOST_IP
2022-04-02 00:20:26 4396
原创 ansible
官方的指南:https://ansible-tran.readthedocs.io/en/latest/docs/intro_getting_started.html
2022-04-02 00:13:15 357
原创 Ubuntu环境下安装CUDA 11.6
安装;wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pinsudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.cn/compute/cuda/11.6.2/local_instal
2022-04-01 21:34:39 3506
原创 linux 增加新的用户
linux 增加用户useradd -d /home/xiaoming -m xiaomingusermod -a -G sudo xiaomingpasswd xiaoming
2022-03-30 22:42:37 309
原创 c++ 自动转换数据类型
template <typename T>struct CudaSupportedTypeImpl { using type = T;};template <>struct CudaSupportedTypeImpl<long long> { using type = unsigned long long;};template <>struct CudaSupportedTypeImpl<unsigned long> {
2022-03-30 10:50:12 1114
原创 Linux 磁盘分区、格式化、目录挂载
1. 显示当前主机目录命令df -h2.磁盘分区2.1 显示机器当前的磁盘:命令fdisk -l注:这里知道新增磁盘为/dev/sda1,就直接指定了,缩减显示篇幅。2.2 fdisk 分区fdisk /dev/sdb1 根据帮助提示分区,这里是把/dev/sdb1分成一个区.fdisk /dev/sdb13. 磁盘格式化命令mkfs.ext4 /dev/sdb1分区为ext4的文件系统格式。fdisk /dev/sdb14. 挂载目录4.1 手工挂载新建目录/u01m
2022-03-27 19:05:55 1550
原创 Linux文件系统只读Read-only file system的解决方法
df -hdf -T 命令查看这个是最简单的命令,文件系统类型在Type列输出。只可以查看已经挂载的分区和文件系统类型。如下所示:df -T /dev/sda1设备unmount面两条命令分别通过设备名和挂载点卸载文件系统,同时输出详细信息:umount -v /dev/sda1 通过设备名卸载 或者umount -v /data2 通过挂载点卸载 第一步:执行以下命令,查看删除文件所在目录的挂载方式:如果结果显示挂载方式为ro,则根因
2022-03-27 19:02:00 28025 4
原创 grpc server、client 的c++和python的样例
具体的代码参见:https://github.com/wu-yy/grpc_test
2022-03-25 23:52:02 2002
原创 Docker磁盘占用与清理问题
Docker空间占用查看1.13版本后Docker提供给了一些System命令,例如df命令查看Docker占用分布:$ docker system dfTYPE TOTAL ACTIVE SIZE RECLAIMABLEImages 3 0 5.373GB 5.373GB (100%)Containers 0 0 0
2022-03-25 21:47:52 3341
原创 pyenv安装多个版本python
1.运行升级库centos yum install -y gcc make patch gdbm-devel openssl-devel sqlite-devel zlib-devel bzip2-devel readline-devel yum install -y gcc libzip-devel readline-devel zlib-devel bzip2-devel sqlite-devel openssl-devel python-pip python-setuptools patch
2022-03-05 23:06:18 534
原创 Python格式化工具yapf
官网:https://github.com/google/yapf安装:pip3 install yapf参数:-p:使用多线程–style:google保持80列换行,indent_width,前面4个空格-i:直接在原文件修改,inplace操作-r:递归的所有文件都进行该操作./:当前目录,也可以为具体文件,./test.py例子:yapf -p --style='{based_on_style: google, indent_width: 4}' -i -r ./...
2022-03-05 14:12:54 690
原创 go语言工具箱
1.打印数据的类型package mainimport ( "fmt" "reflect")func main() { str2 := "Go语言" fmt.Println(reflect.TypeOf(str2[2]).Kind()) // uint8}reflect.TypeOf().Kind() 可以知道某个变量的类型2. 字典(键值对,map)map 类似于 java 的 HashMap,Python的字典(dict),是一种存储键值对(Key-Value)的
2022-02-26 22:54:26 469
原创 Ubuntu20.04中安装MySQL 5.7.x
默认情况下,Ubuntu20.04安装MySQL的版本为8.0。但8.0更加严格的加密规则,使得一些配置难以实现,下面就来为大家介绍在ubuntu20.04中怎么安装MySQL5.7.x。一、下载安装包(这里以5.7.32为例)官方下载地址:https://downloads.mysql.com/archives/community/二、解压安装包到下载安装包的路径解压安装包tar -xzf mysql-server_5.7.32-1ubuntu18.04_amd64.deb-bundle.ta
2022-02-26 15:59:02 3737 1
原创 ubuntu完全卸载mysql
首先用dpkg --list|grep mysql查看自己的mysql有哪些依赖先卸载sudo apt-get remove mysql-common然后:sudo apt-get autoremove --purge mysql-server-8.0 再用dpkg --list|grep mysql查看,还剩什么就卸载什么最后清楚残留数据:dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P...
2022-02-26 15:31:07 1831
原创 Linux查看物理CPU个数、核数、逻辑CPU个数
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores"| uniq# 查看逻辑CPU的个数cat /proc/cpuinfo| grep "processor
2022-02-21 00:09:36 625
原创 修改docker 默认镜像存储路径
Docker默认安装的情况下,会使用 /var/lib/docker/ 目录作为存储目录,用以存放拉取的镜像和创建的容器等。不过由于此目录一般都位于系统盘,遇到系统盘比较小,而镜像和容器多了后就容易尴尬,这里说明一下如何修改 Docker 的存储目录。docker info这里我的机器的docker存储目录已经被我修改了,默认的应该是/var/lib/docker官方文档的修改办法是编辑 /etc...
2022-02-20 23:49:36 2010
McGrawHill_-_Machine_Learning_-Tom_Mitchell课后答案
2016-04-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人