- 博客(761)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 docker 开启Remote API 访问 2375端口
常见docker端口包括：2375：未加密的docker socket,远程root无密码访问主机2376：tls加密套接字,很可能这是您的CI服务器4243端口作为https 443端口的修改2377：群集模式套接字,适用于群集管理器,不适用于docker客户端5000：docker注册服务4789和7946：覆盖网络。
2022-08-23 22:57:49
715
原创 GlusterFS 多个机器构建共享挂载目录
lsblk 查看磁盘配置hostsudo vim /etc/resolv.conf/etc/hosts安装glusterfsConfigure the Trusted Pool机器1:机器2然后在机器1和机器2上执行查看硬盘的UUID在两台机器上编辑/etc/fstab挂载 (将 /etc/fstab 中定义的所有档案系统挂上。)查看gluster 状态查看gluster volume...............
2022-06-27 22:49:36
1104
原创 tensorflow2 生产DLRM tfrecord数据
sok dlrm数据下载terebate数据：https://ailab.criteo.com/ressources/处理binary 为tfrecord
2022-06-27 17:09:15
437
原创 ssh “Missing privilege separation directory: /run/sshd“
报错信息：Missing privilege separation directory: /run/sshd解决办法：
2022-06-21 11:29:30
1402
1
原创 docker-compose Nginx 使用resolver配置，把不同的请求转发到不同的服务
我们看一下Nginx 如果通过resolver 进行配置，把不同的请求转发到不同的服务。docker-compose.yml其中/etc/nginx/conf.d/user.conf 里面配置了 dns resolveruser.conf:其中docker-compose 启动的nginx 内部默认的dns解析服务是127.0.0.11。我们可以通过输出：127.0.0.11通过127.0.0.11 dns 我们可以找到host 对应的ip输出：.........
2022-06-16 23:33:35
1622
原创 gsutil安装工具安装以及使用http代理下载
谷歌开源的模型下载：https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#lm-adapted-t511lm100kgsutil安装工具https://cloud.google.com/storage/docs/gsutil_install#linux配置 gcloud CLI 以在代理后面使用如何http 代理，需要设置gclound 代理....
2022-06-13 08:31:19
968
原创 ubuntu固定ip地址
首先请记得使用cp命令备份配置文件，然后使用vim命令将打开Netplan配置文件/etc/netplan/00-installer-config.yaml：network至少包含两个必需元素和一个可选元素。第一个必需元素是网络配置格式的版本version，第二个是设备类型。设备类型可以是ethernets，bonds，bridges或vlans。保存后，运行以下netplan命令，应用修改后的配置文件，使静态IP地址在当前会话中可用。然后再运行ip addr命令展示所有网卡的ip地址：...
2022-06-12 16:53:33
477
原创 docker-compose部署mongodb
首先建立mongodb的初始化bash, 后面会放入docker-compose.ymlmongo-init.shdocker-compose.yml
2022-06-07 13:35:25
3737
3
原创 tf grappler
构图的时候执行GraphExecutionState::BuildGraph 执行图优化的入口。然后通过GraphExecutionState::OptimizeGraph 内部调用 grappler::RunMetaOptimizer 进行图优化。通过MetaOptimizer::Optimize 进行真正的图优化。第一遍过滤掉只包含当前图的op的计算图 (optimized_graph)。MetaOptimizer:: OptimizeGraph(cluster, trimmed_i
2022-05-30 21:56:29
196
原创 golang rocksdb安装和使用
1、开发环境ubuntu182、下载 rocksdb wget https://github.com/facebook/rocksdb/archive/refs/tags/v7.2.2.tar.gztar xvzf v7.2.2.tar.gzcd rocksdb-7.2.2/make shared_lib -j9sudo make install3、安装其他依赖文档写要安装Linux - Ubuntusudo apt-get install libgflags-devsud
2022-05-19 13:06:31
1606
原创 mysql 表损坏如何修复
开启读模式/etc/mysql/mysql.conf.d/mysqld.cnf增加[mysqld]innodb_force_recovery = 6重启mysql 服务：sudo service mysql restart3.导出整个数据库mysqldump -u 用户名 -p 数据库名 > 导出的文件名mysqldump -u dbuser -p dbname > dbname.sql新建一个数据库并将步骤3的数据重新导入。5.关闭读模式/etc/mysql/
2022-05-07 16:49:34
707
原创 Linux设置swap交换区为0
1.永久生效：编辑/etc/fstab隐去# /swapfile none swap sw 0 0然后执行命令：swapoff -a2.临时：修改swappiness值为0sysctl vm.swappiness=0刷新SWAP可以执行命令刷新一次SWAP（将SWAP里的数据转储回内存，并清空SWAP里的数据）swapoff -a &&
2022-04-17 14:28:21
3780
原创 nvidia-docker2
按照本文步骤执行前，你需要安装好:nvidia驱动：Kubuntu 16.04上安装Nvidia GPU驱动 + CUDA + cuDNNdocker：Get Docker CE for Ubuntu还需要安装好docker-compose: Install Docker Compose使用的是新版本的docker (>=19.03)，则推荐使用nvidia-container-toolkit包来代替nvidia-docker2包：# Add the package repositories
2022-04-09 11:26:19
4399
原创 docker 容器网桥
1.创建网桥docker network create --driver bridge kubeasz-test2. 连接网桥一种是在创建容器时链接网桥:docker create --name [容器名称] --network [网桥名称] [镜像名称]一种是在容器运行时链接网桥:docker network connect [网桥名称] [容器名称]3. 查看所有网桥docker network ls4.查看某网桥的配置信息docker network inspect [网桥
2022-04-02 17:34:07
1432
原创 linux 通过命令行打印本机IP
通过下面的命令行打印本机器的ipHOST_IF=$(ip route|grep default|head -n1|cut -d' ' -f5)HOST_IP=$(ip a|grep "$HOST_IF$"|head -n1|awk '{print $2}'|cut -d'/' -f1)echo $HOST_IP
2022-04-02 00:20:26
4394
原创 ansible
官方的指南：https://ansible-tran.readthedocs.io/en/latest/docs/intro_getting_started.html
2022-04-02 00:13:15
356
原创 Ubuntu环境下安装CUDA 11.6
安装；wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pinsudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.cn/compute/cuda/11.6.2/local_instal
2022-04-01 21:34:39
3506
原创 linux 增加新的用户
linux 增加用户useradd -d /home/xiaoming -m xiaomingusermod -a -G sudo xiaomingpasswd xiaoming
2022-03-30 22:42:37
309
原创 c++ 自动转换数据类型
template <typename T>struct CudaSupportedTypeImpl { using type = T;};template <>struct CudaSupportedTypeImpl<long long> { using type = unsigned long long;};template <>struct CudaSupportedTypeImpl<unsigned long> {
2022-03-30 10:50:12
1114
原创 Linux 磁盘分区、格式化、目录挂载
1. 显示当前主机目录命令df -h2.磁盘分区2.1 显示机器当前的磁盘:命令fdisk -l注:这里知道新增磁盘为/dev/sda1,就直接指定了,缩减显示篇幅。2.2 fdisk 分区fdisk /dev/sdb1 根据帮助提示分区,这里是把/dev/sdb1分成一个区.fdisk /dev/sdb13. 磁盘格式化命令mkfs.ext4 /dev/sdb1分区为ext4的文件系统格式。fdisk /dev/sdb14. 挂载目录4.1 手工挂载新建目录/u01m
2022-03-27 19:05:55
1550
原创 Linux文件系统只读Read-only file system的解决方法
df -hdf -T 命令查看这个是最简单的命令，文件系统类型在Type列输出。只可以查看已经挂载的分区和文件系统类型。如下所示：df -T /dev/sda1设备unmount面两条命令分别通过设备名和挂载点卸载文件系统，同时输出详细信息：umount -v /dev/sda1 通过设备名卸载 或者umount -v /data2 通过挂载点卸载 第一步：执行以下命令，查看删除文件所在目录的挂载方式:如果结果显示挂载方式为ro，则根因
2022-03-27 19:02:00
28020
4
原创 grpc server、client 的c++和python的样例
具体的代码参见：https://github.com/wu-yy/grpc_test
2022-03-25 23:52:02
2002
原创 Docker磁盘占用与清理问题
Docker空间占用查看1.13版本后Docker提供给了一些System命令，例如df命令查看Docker占用分布：$ docker system dfTYPE TOTAL ACTIVE SIZE RECLAIMABLEImages 3 0 5.373GB 5.373GB (100%)Containers 0 0 0
2022-03-25 21:47:52
3340
原创 pyenv安装多个版本python
1.运行升级库centos yum install -y gcc make patch gdbm-devel openssl-devel sqlite-devel zlib-devel bzip2-devel readline-devel yum install -y gcc libzip-devel readline-devel zlib-devel bzip2-devel sqlite-devel openssl-devel python-pip python-setuptools patch
2022-03-05 23:06:18
531
原创 Python格式化工具yapf
官网：https://github.com/google/yapf安装：pip3 install yapf参数：-p：使用多线程–style：google保持80列换行，indent_width，前面4个空格-i：直接在原文件修改，inplace操作-r：递归的所有文件都进行该操作./：当前目录，也可以为具体文件，./test.py例子：yapf -p --style='{based_on_style: google, indent_width: 4}' -i -r ./...
2022-03-05 14:12:54
690
原创 go语言工具箱
1.打印数据的类型package mainimport ( "fmt" "reflect")func main() { str2 := "Go语言" fmt.Println(reflect.TypeOf(str2[2]).Kind()) // uint8}reflect.TypeOf().Kind() 可以知道某个变量的类型2. 字典(键值对，map)map 类似于 java 的 HashMap，Python的字典(dict)，是一种存储键值对(Key-Value)的
2022-02-26 22:54:26
469
原创 Ubuntu20.04中安装MySQL 5.7.x
默认情况下，Ubuntu20.04安装MySQL的版本为8.0。但8.0更加严格的加密规则，使得一些配置难以实现，下面就来为大家介绍在ubuntu20.04中怎么安装MySQL5.7.x。一、下载安装包（这里以5.7.32为例）官方下载地址：https://downloads.mysql.com/archives/community/二、解压安装包到下载安装包的路径解压安装包tar -xzf mysql-server_5.7.32-1ubuntu18.04_amd64.deb-bundle.ta
2022-02-26 15:59:02
3727
1
原创 ubuntu完全卸载mysql
首先用dpkg --list|grep mysql查看自己的mysql有哪些依赖先卸载sudo apt-get remove mysql-common然后：sudo apt-get autoremove --purge mysql-server-8.0 再用dpkg --list|grep mysql查看，还剩什么就卸载什么最后清楚残留数据：dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P...
2022-02-26 15:31:07
1831
原创 Linux查看物理CPU个数、核数、逻辑CPU个数
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores"| uniq# 查看逻辑CPU的个数cat /proc/cpuinfo| grep "processor
2022-02-21 00:09:36
624
原创 修改docker 默认镜像存储路径
Docker默认安装的情况下，会使用 /var/lib/docker/ 目录作为存储目录，用以存放拉取的镜像和创建的容器等。不过由于此目录一般都位于系统盘，遇到系统盘比较小，而镜像和容器多了后就容易尴尬，这里说明一下如何修改 Docker 的存储目录。docker info这里我的机器的docker存储目录已经被我修改了，默认的应该是/var/lib/docker官方文档的修改办法是编辑 /etc...
2022-02-20 23:49:36
2010
McGrawHill_-_Machine_Learning_-Tom_Mitchell课后答案
2016-04-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人