自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 docker修改容器映射port

1. docker stop container_id2. systemctl stop docker3. 修改hostconfig.json和config.v2.json文件中HostPort的端口号,这两个文件都在下面的路径中:/var/lib/docker/containers/[hash_of_the_container]/,其中hash_of_the_container可以通过命令: docker inspect container_id |grep Id获得4. systemctl.

2020-07-02 16:05:22 91

原创 Rancher搭建集群:[etcd] Failed to bring up Etcd Plane: etcd cluster is unhealthy: hosts [192.168.100.666]

根据Rancher官网搭建的集群成功后,使用docker删除之前退出的容器不小心把正在运行的rancher容器也给删除了,又重新安装rancher,然后创建集群后,最后一步总是不成功,报错:[etcd] Failed to bring up Etcd Plane: etcd cluster is unhealthy: hosts [192.168.100.666] failed to report healthy. Check etcd container logs on each host for m

2020-06-22 09:43:33 1112

原创 python代码中更改项目当前工作路径

从网上复制项目代码在本地运行的时候,经常报错说找不到文件,其实就是系统当前工作路径不一致的原因,更改项目工作路径的方法:import osos.chdir('/home/Documents')os.getcwd()import syssys.path.append('/home/Documents')...

2020-05-26 18:54:41 87

原创 Django项目在pycharm中进行单独测试的配置

django.core.exceptions.ImproperlyConfigured: Requested settings, but settings are not configured. You must either define the environment variable DJANGO_SETTINGS_MODULE or call settings.configure() before accessing settings.

2020-05-26 18:50:00 106

原创 sklearn的KFold,GroupKFold,StratifiedKFold区分

机器学习模型训练中对数据进行K折交叉训练是一个常见的策略,其中sklean库中的KFold,GroupKFold,StratifiedKFold就是实现对数据集K折划分的方法,这三个方法的区别总结如下。KFold:是对数据集顺序按顺序K折划分;GroupKFold:是按训练者自己的需求进行的自定义划分,比如定义需要某些类别在训练集上多点数据;StratifiedKFold:则是分层采样,确保训练集,验证集中各类别样本的比例与原始数据集中相同;这三种方法简单的代码示例:import nu

2020-05-16 17:02:54 179

转载 tensorflow测试gpu是否可用

查看是否有GPU:import tensorflow as tfgpu_device_name = tf.test.gpu_device_name()print(gpu_device_name)查看GPU是否可用,返回 True 或者 Falsetf.test.is_gpu_available()from tensorflow.python.client import device_lib# 列出所有的本地机器设备local_device_protos = dev..

2020-05-15 18:08:35 510

原创 pandas-分组

目录一、SAC过程二、groupby函数三、聚合、过滤和变换四、apply函数注:此笔记来自datawhale团队github开源项目:Joyful-Pandas前提:pandas包的导入和数据读取import numpy as npimport pandas as pddf=pd.read_csv('data/table.csv',index_col='ID')df.head()一、SAC过程1. 内涵SAC指的是分组操作中的split-apply-co

2020-05-13 17:11:51 51

原创 Process finished with exit code -1073741819 (0xC0000005)

背景描述pycharm里面跑pytorch的Resnet模型代码,出现了这个错误。起初还报内存不足的错,后来直接只显示:Process finished with exit code -1073741819 (0xC0000005),我把batch_size调小到2仍不行,网上搜索说是csv文件读取错误或者某个包没装好需要重新安装。解决方案pytorch和cuda驱动版本不对。torch1.3.0+9.2cuda,而我的cuda是10.1的,所以我重新安装了10.1版本的pytorch就可以正常

2020-05-11 22:09:52 39

原创 快速了解软件测试全貌

目录软件测试概述兼容性测试安全性测试可用性测试 & 逻辑功能测试黑盒测试与白盒测试软件测试的分类单元测试集成测试系统测试和验收测试回归测试冒烟测试软件测试概述需求—方案—代码实现—执行—产出报告软件测试指标:功能测试,性能测试,验收测试,接口测试软件测试的指标主要是根据需求文档和行业标准而定。功能测试的指标,完全是由需求文...

2020-04-29 15:57:05 301 2

原创 window下安装 jupyter notebook,以及使用快捷键指南

Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算:开发、文档编写、运行代码和展示结果。——Jupyter Notebook官方介绍完成效果如图windows下安装步骤1. 先安装好安装python2.打开cmd命令行,运行:pippip install jupyter3. 在cmd命令行,运行: jupyter notebook...

2020-04-23 23:18:43 64

原创 数据分析可视化利器的简单使用示例-——seaborn

seaborn是一个建立在matplot之上,可用于制作丰富和非常具有吸引力统计图形的Python库。Seaborn库旨在将可视化作为探索和理解数据的核心部分,有助于帮人们更近距离了解所研究的数据集。无论是在kaggle官网各项算法比赛中,还是互联网公司的实际业务数据挖掘场景中,都有它的身影。可视化所需的包与数据导入:import numpy as npimport pandas as...

2020-04-19 23:36:37 81

原创 ERROR: Command errored out with exit status 1: python setup.py egg_info Check the logs for full comm

$ pip install mysqlclientLooking in indexes: https://mirrors.aliyun.com/pypi/simple/Collecting mysqlclient Downloading https://mirrors.aliyun.com/pypi/packages/d0/97/7326248ac8d5049968bf4ec708...

2020-04-15 11:43:19 781

原创 nginx: [error] open() "/run/nginx.pid" failed (2: No such file or directory)

错误:nginx: [error] open() "/run/nginx.pid" failed (2: No such file or directory)解决方案:sudo nginx -c /etc/nginx/nginx.conf # 指定nginx配置文件sudo nginx -s reload # 重新启动nginx...

2020-04-13 17:40:48 149

原创 入门级数据挖掘比赛——二手车交易价格预测

目录题目背景初期工作数据分析和特征选择模型选择总结最近参加了天池的一个入门级数据挖掘比赛:二手车交易预测。昨天比赛结束,从参赛到结束也就10天,正经投入时间大概有5天吧,虽然是入门级比赛,看起来是很简单的回归预测,但是想冲进前13名(前13名有奖励)还是非常不容易的。2746组中最终排名48,对比投入时间和所做的工作,这个名次也没啥好说的。现在结束了,排名在前的队伍应该最近...

2020-04-13 00:09:47 238 1

原创 XGBoost,RandomForest,LightGBM的模型参数解释与代码示例

目录一、XGBoost参数解释1.通用参数2.Booster参数3.学习目标参数二、XGBoost调参示例三、LightGBM参数解释1.核心参数2.学习控制参数3.度量函数四、LightGBM调参示例五、XGBoost和LightGBM调参核心调参方向:处理过拟合(过拟合和准确率往往相反)调参范围六、RandomForest参数解释1....

2020-04-07 00:09:36 134

原创 k8s的Pod内容器互相访问——容器内使用python操作同Pod的mysql容器

目录一、容器外部访问容器内部服务1. 使用hostNetwork参数(容器内部服务与宿主机同一网段)2. 使用hostPort参数(将容器内端口暴露出来)3. 使用NodePort参数4. 使用LoadBalancer参数二、容器内部服务访问外部服务1. 使用hostNetwork参数(Pod与宿主机在同一网段)2. 使用endpoints组件序言研究k8s...

2020-03-31 20:37:23 1296

原创 好书推荐-——《态度》——吴军老师著

书本概要《态度》一书是吴军老师首部个人成长类著作。吴军老师认为,由于处事的态度不同,起点差不多的人会不断分化,进而拉开命运的差距。这本书是吴军老师给正在上大学和上高中的女儿们的家书,针对年轻人在成长过程中都要遇到的有效学习、处理人际关系、理解并赚取财富等具体问题,以及如何洞察世界、人生等哲学问题,给出了诚恳的建议。这些建议或源于作者的亲身经历,特别是十多年来参与大学管理和在世界一流企业从事...

2020-03-29 22:26:23 173

原创 百面机器学习(6)——概率图模型

目录概率图模型的联合概率分布(概率图,贝叶斯网络,马尔可夫网络)概率图表示(朴素贝叶斯模型,概率图,最大熵模型)生成式模型与判别式模型马尔可夫模型主题模型概率图模型最为“精彩”的部分就是能够用简洁清晰的图示形式表达概率生成的关系。而通过概率图还原其概率分布不仅是概率国模型最重要的功能,也是掌握概率圄模型最重要的标准。概率图模型的联合概率分布(概率图,贝叶斯网络,马尔可夫...

2020-03-26 17:05:07 188

原创 百面机器学习(11)——强化学习

目录强化学习基础(马尔可夫决策过程价值迭代,策略迭代)视频游戏里的强化学习(Q-learning)策略梯度探索与利用强化学习基础(马尔可夫决策过程价值迭代,策略迭代)场景描述:假设我们有一个3x3的棋盘,其中有一个单元格时马里奥,另一个单元格是宝藏,如图11.1所示,在游戏的每个回合,可以往上、下、左、右四个方向移动马里奥,直到马里奥找到宝藏,游戏结束。在这个场景中,强化学...

2020-03-26 15:03:06 158

原创 kubelet.service启动失败

配置好k8s集群后,一段时间发现两个节点变成NotReady状态,这个服务器经历过重启,systemctl status kubelet显示kubelet.service未启动报错log如下:3月 25 11:35:52 westwell systemd[1]: kubelet.service: Unit entered failed state.3月 25 11:35:52 westwel...

2020-03-25 15:31:56 484

原创 百面机器学习(13)——生成式对抗网络

目录初识GANs的秘密(MinMax游戏,值函数,JS距离,概率生成模型,优化饱和)WGAN:抓住低维的幽灵(Collapse Mode坍缩, Wasserstein距离,1-Lipschitz函数)DCGAN:当GANs遇上卷积ALI:包揽推断业务IRGAN:生成离散样本SeqGAN:生成样本序列初识GANs的秘密(MinMax游戏,值函数,JS距离,概率生成模型,优...

2020-03-24 17:44:12 178

原创 百面机器学习(12)——集成学习

目录集成学习的种类(Boosting,bagging, 基分类器)集成学习的步骤和例子基分类器(方差-偏差关系,随机森林,基分类器)偏差与方差梯度提升决策树的基本原理XGBoost与GBDT的联系和区别集成学习的种类(Boosting,bagging, 基分类器)1. 集成学习分哪几种?它们有何异同?(1)BoostingBoosting方法训练基分类器时采...

2020-03-24 11:59:15 45

原创 百面机器学习(10)——循环神经网络

目录循环神经网络与卷积神经网络循环神经网络的梯度消失问题循环神经网络中的激活函数长短期记忆网络Seq2Seq模型注意力机制循环神经网络与卷积神经网络1. 处理文本数据时,循环神经网络与前馈神经网络相比有什么特点?(1)在神经网络的建模过程中,一般的前馈神经网络,如卷积神经网络,通常接受一个定长的向量作为输入。卷积神经网络对文本数据建模时,输入变长的字符串或者单词...

2020-03-23 16:18:25 359

原创 百面机器学习(9)——前向神经网络

目录多层感知机与布尔函数深度神经网络中的激活函数多层感知机的反向传播算法神经网络训练技巧深度卷积神经网络深度残差网络多层感知机与布尔函数1. 多层感知机表示异或逻辑时最少需要几个隐含层(仅考虑二元输入)?(2)2. 如果只使用一个隐层,需要多少隐节点能够实现包含n元输入的任意布尔函数?(3)深度神经网络中的激活函数线性模型是机器学...

2020-03-23 11:30:15 448

原创 百面机器学习(8)——采样

目录采样的作用(采样,机器学习,概率统计)均匀分布随机数(概率统计,线性同余)常见的采样方法(逆变换采样,拒绝采样,重要性采样)高斯分布的采样马尔可夫蒙特卡洛采样法(蒙特卡洛法,马尔可夫链,吉布斯采样)贝叶斯网络的采样不均衡样本集的重采样采样的作用(采样,机器学习,概率统计)1. 举例说明采样在机器学习中的应用(2)采样本质上是对随机现象的模拟,根据给定的概...

2020-03-22 15:05:15 230

原创 百面机器学习(2)——模型评估

目录评估指标的局限性(准确率,精确率,召回率,均方根误差)ROC曲线(曲线下的面积AUC,P-R曲线)余弦距离的应用(余弦相似度,余弦距离,欧式距离)A/B测试的陷阱(实验组,对照组)模型评估的方法(Holdout检验,交叉验证,自助法,微积分)超参数调优过拟合与欠拟合评估指标的局限性(准确率,精确率,召回率,均方根误差)在模型评估过程中,分类问题、排序问题、回...

2020-03-20 17:38:33 240

原创 百面机器学习(7)——优化算法

目录有监督学习的损失函数机器学习中的优化问题(凸优化基本概念)经典优化算法(微积分,线性代数,凸优化)梯度验证(微积分,线性代数)随机梯度下降法随机梯度下降法的加速L1正则化与稀疏性监督学习的损失函数机器学习算法的关键一环是模型评估,而损失函数定义了模型的评估指标。可以说,没有损失函数就无法求解模型参数。不同的损失函数优化难度不同,最终得到的模型参数也不同,针对...

2020-03-19 23:37:49 94

原创 通俗理解机器学习相关知识点——资源汇总

最小二乘法最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。最小二乘法是用来做函数拟合或者求函数极值的方法。当做函数拟合时,比如给定一系列观测值Xi和f(Xi),求函数f(x)=ax+b的参数a,b。总误差平方:对a,b求导,求解下式可得到总误差的最值。代入Xi, f(Xi)的值,解上述线性方程组,可以...

2020-03-19 12:20:04 69

原创 百面机器学习(3)——经典算法

目录SVM(SVM模型推导,和函数,SMO算法)逻辑回归(逻辑回归,线性回归,多标签分类,softmax)决策树(信息论,树形数据结构,优化理论)SVM(SVM模型推导,和函数,SMO算法)1. 在空间上线性可分的两类点,分别向svm分类的超平面上做投影,这些点在超平面上的投影仍然是线性可分的吗?(3)线性可分的两类点,即通过一个超平面可以将两类点完全分开。对于任意线性可分...

2020-03-18 23:26:04 124

原创 百面机器学习(5)——非监督学习

目录K均值聚类(K均值聚类算法ISODATA算法,EM算法)高斯混合模型(GMM)自组织映射神经网络(SOM)聚类算法的评估K均值聚类(K均值聚类算法ISODATA算法,EM算法)1. 简述K均值算法的具体步骤(2)1)数据预处理,如归一化,离群点处理等2)随机选择K个簇中心3)定义代价函数:J=所有样本到其所分类别的距离平方和最小4)迭代如下过程知道代价函...

2020-03-18 22:51:53 98

原创 百面机器学习(4)——降维

PCA最大方差理论1. 如何定义主成分?从这种定义出发,如何设计目标函数使得降维达到提取主成分的目的?针对这个目标函数,如何对PCA问题进行求解?(2)最大化投影方差的角度PCA最小平方误差理论1. PCA求解的其实是最佳投影方向,即一条直线,这与数学中线性回归的目标不谋而合,能否从回归的角度定义PCA的目标并相应地求解问题呢?(2) 最小平方误差线性判别...

2020-03-18 22:45:14 50

原创 学习记录——图像梯度直方图特征

特征描述符与图像梯度直方图特征描述符就是通过提取图像的有用信息,并且丢弃无关信息来简化图像的表示;梯度直方图(Histogram of Gradients, HOG)1. 将图像按照设定比例分成若干cell,比如1600*3200的图像,以16*16为比例,可以分成100*200的cell,每一个cell里是16*16*channel的像素。(对于彩色的图像,三种通道的梯度都会被评估计...

2020-03-15 21:05:34 362

原创 输出从小到大第n个丑数-空间换时间

题目: 我们把只包含因子2,3和5的数乘坐丑数(Ugly Nunber),求按从小到大的顺序的第1500个丑数。例如:6和8是丑数,但14不是丑数,因为它包含因子7。习惯上我们把1当作第一个丑数。常规方案:逐个判断每个整数是不是丑数丑数的定义是只能被2,3,5整除,所以一个整数如果能被2整除,就连续除以2;能被3整除,就连续除以3;能被5整除,就连续除以5。如果最后得到的是1,那么这个数就...

2020-03-10 18:24:02 72

原创 数据结构算法——位运算相关知识及示例

理解位运算的第一步是理解二进制。二进制是指数字的每一位都是1或者0。比如十进制的2转换成二进制之后是10,而十进制的10转换成二进制之后是1010。在程序员圈子中有一则流传了很久的笑话,说世界上有10种人,一种人知道二进制,而另一种人不知道二进制…… 其实二进制的位运算并不是很难掌握,位运算总共只有5种运算:与/或/异或/左移/右移。如下表: 左移运算m<&...

2020-03-03 13:41:16 55

原创 docker19.03+调用宿主机nvidia显卡,配置默认runtime=nvidia

如果想在容器里调用宿主机的nvidia显卡加速运算,docker 19.03+版本摒弃了之前的nvidia-docker2的实现方式,docker 运行镜像时候只需在run 后加--gpus all的参数,但是在docker-compose里确没有--gpus=all或者runtime=nvidia的参数让docker调用nvidia显卡,之前还以为了nvidia-docker官方没有跟上dock...

2020-01-20 18:14:08 2961 7

原创 docker-compose --version报错:AttributeError: ‘module’ object has no attribute ‘unique’

根据官网指导安装docker-compose,结果测试docker-compose --version报错如下,根据提示可知是enum的问题。因为电脑同时安装了具有相同命名空间的enum和enum34,所以导致调用冲突。root@k8s-master:~$ docker-compose --versionTraceback (most recent call last): File "...

2020-01-20 12:24:39 498

原创 ubuntu16.04更新nvidia驱动的两种方法(方法2直接可用nvidia-smi显示)

ubuntu系统当需要搭建深度学习环境,调用nvidia GPU显卡驱动时候,更新显卡驱动问题一直不可避免,当在终端运行nvidia-smi显示出显卡信息的那一刻,才算彻底松了一口气。前后陆陆续续搞过ubuntu显卡驱动很多次,发现显卡驱动的问题越来越简单了。简单记录下今天的经历,供参考。第一种,利用ubuntu系统Software & Updates自动更新。更新系统软件源信息...

2020-01-17 18:21:26 1581 1

原创 docker: Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-

docker不能pull镜像,虚拟机也连不了网,好像是DNS server的问题。运行docker run hello-world报错如下:docker: Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-1.docker.io on [::1]:53: r...

2020-01-16 11:39:08 2095

原创 k8s集群给pod指定运行的node

k8s集群的yaml文件,需要指定pod在哪个node上面运行很简单,可以有两种方法。1. 强制约束Pod调度在指定Node节点上Pod.spec.nodeName2. 通过label-selector机制选择节点Pod.spec.nodeSelector查询node的label情况命令:kubectl get node --show-labels...

2020-01-10 18:16:06 1309

原创 基于virtual box虚拟机的k8s集群部署全流程

预准备安装virtual box下载centOS7镜像(阿里云网站下载地址:http://mirrors.aliyun.com/centos/7/isos/x86_64/)。我下载的版本是 CentOS-7-x86_64-DVD-1908.iso一、安装配置虚拟机打开VirtualBox,选择新建输入虚拟机名称,类型,版本内存设置4G动态分配,文件...

2020-01-03 18:59:12 528

提示
确定要删除当前文章?
取消 删除