- 博客(25)
- 收藏
- 关注
RSS订阅原创 《Docker》组队学习第6次打卡
挂载部署类似于常规部署，通过数据卷的方式将宿主机的jar包挂载到容器中，然后执行jar包的jdk选择容器中的而非采用本地的将jar包上传到服务器的指定目录，比如/root/docker/jar 通过docker pull openjdk:8命令获取镜像 编写docker-compose.yml文件 执行命令docker-compose up –d启动jar包, 可以通过docker ps查看容器是否在运行，需要注意的是默认查看所有运行中的容器，如果想查看所有容器，需要添加参数-a 注意如果
2021-04-23 23:49:57
61
原创 《Docker》组队学习第5次打卡
主题：Docker Compose1.什么是docker compose允许用户通过一个单独的docker-compose.yml模板文件（YAML 格式）来定义一组相关联的应用容器为一个项目（project）2.如何使用docker compose在Compose中有两个重要的概念：服务 (service)：一个应用的容器，实际上可以包括若干运行相同镜像的容器实例。 项目 (project)：由一组关联的应用容器组成的一个完整业务单元，在docker-compose.yml...
2021-04-21 22:55:41
62
原创 《Docker》组队学习第4次打卡
主题：Docker网络外部访问容器容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过-P或-p参数来指定端口映射。当使用-P标记时，Docker会随机映射一个端口到内部容器开放的网络端口。 使用docker container ls可以看到，本地主机的 32768 被映射到了容器的 80 端口。此时访问本机的 32768 端口即可访问容器内 NGINX 默认页面。$ docker run -d -P nginx:alpine映射所有接口地址使用hostPort:c
2021-04-19 22:49:24
72
原创 《Docker》组队学习第三次打卡
Docker 数据管理1.数据卷数据卷是一个可供一个或多个容器使用的特殊目录，它绕过 UFS (UNIX File System)创建数据卷$ docker volume create datawhale查看所有的数据卷$ docker volume ls启动一个挂载数据卷的容器在用 docker run 命令的时候，使用 --mount 标记来将数据卷挂载到容器里。在一次 docker run 中可以挂载多个 数据卷。查看数据卷的具体信息$ docker inspect web
2021-04-16 23:34:12
46
原创 《Docker》组队学习第二次打卡
主题 Docker镜像与容器1.获取镜像$ docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签]root@lchj-OMEN-by-HP-Laptop-15-dc1xxx:~# docker pull ubuntu:18.0418.04: Pulling from library/ubuntu6e0aa5e7af40: Pull complete d47239a868b3: Pull complete 49cbb10cca85: Pull
2021-04-15 22:21:35
101
原创 《Docker》组队学习第一次打卡
这# 学习目标：学习内容：学习时间：学习产出：欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入提示：这里可以添加学习目标例如：一周掌握 Java 入门知识学习内容：提示：这里可以添加要
2021-04-12 22:03:47
40
原创 《NLP学习实战》第一次打卡
一、赛题理解题目是新闻文本分类，是一个典型的字符识别问题。二、赛题数据赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。赛题数据由以下几个部分构成：训练集20w条样本，测试集A包括5w条样本，测试集B包括5w条样本。为了预防选手人工标注测试集的情况，我们将比赛数据的文本按照字符级别进行了匿名处理。三、数据标签数据集中标签的对应的关系如下：{‘科技’: 0, ‘股票’: 1
2020-07-21 21:14:49
182
原创 《街景字符编码识别CV组队学习》第5次打卡
一、学习内容模型集成1.集成学习方法常见的方法包括stacking、bagging、boosting三类，与验证集的划分有关。比如10折交叉验证。2.深度学习中的集成方法a.dropout一般放在relu之后，用于缓解过拟合，目前已不常用b.测试集数据扩增（TTA）Test Time Augmentation(TTA):在测试时，进行数据扩增，比如对同一个样本预测3次，然后对3次结果进行平均。c.snapshot使用cyclinical learning rate进行训练，并保存精度比
2020-06-02 22:35:23
126
1
原创 《街景字符编码识别CV组队学习》第4次打卡
一、学习内容模型训练与验证1、在训练集上进行训练，并在验证集上进行验证首先需要构造验证集，本赛题已经将训练集和验证集分开。验证集的划分一般有3种方法。a.留出法一般地，可以取训练集的30%左右作为训练集，用于调整模型的超参数。b.交叉验证法将训练集划分成K份，将其中的K-1份作为训练集，剩余的1份作为验证集，循环K次训练c.自助采样法有放回的采样2、保存最优权重，并读取权重torch.save(model.state_dict(),‘model.pt’)torch.load(‘mod
2020-05-30 22:11:51
215
原创 《街景字符编码识别CV组队学习》第3次打卡
一、学习内容字符识别模型1.CNN基础与原理卷积神经网络（Convolutional Neural Network）CNN实质上是协方差计算，并不是数学意义上的卷积运算。每层通过卷积核对输入像素进行卷积运算。随着层数增加，图像持续逐渐减小，卷积核的感受野变大（即对应于原图上，能够影响输出值的区域变大）。CNN包括卷积层、池化层（Maxpooling,AveragePooling）、ReLU（非线性激活层）、DropOut、全连接层等构成。2.CNN的发展从LeNet、AlexNet、VGG16
2020-05-26 21:21:47
148
原创 《街景字符编码识别CV组队学习》第2次打卡
一、数据读取与数据扩增图像读取PIL和OpenCV1.1 PILfrom PIL import Imageimg=Image.open(‘cat.jpg’)1.2 OpenCVimport cv2img=cv2.imread(‘cat.jpg’)2.数据扩增数据扩增是本次比赛的关键，在简单扩增的情况下，训练非常容易过拟合。尝试增加更多的合适的扩增方法3.Pytorch 读取数据Dataset是对数据集的封装，提供索引读取数据的方式class SVHNDataset(Datase
2020-05-23 21:04:02
182
原创 《街景字符编码识别CV组队学习》第一次打卡
一、赛题理解1.数据集训练集数据包括3W张照片验证集数据包括1W张照片每张照片包括颜色图像和对应的编码类别和具体位置目标：识别图片中所有的字符2.数据标签标签文件是.json格式，（top,height,left,width,label）同一张照片可能有多个数字，（预测结果需要考虑按x坐标升序排列）3.评价指标以编码整体识别准确率为评价指标。任何一个字符错误都为错误，最终评测指标结果越大越好，具体计算公式如下：Score=编码识别正确的数量/测试集图片数量4.代码实践#json格式
2020-05-20 21:44:37
129
原创 《机器学习基础》第5次打卡
学习内容：SVM 硬间隔原理SVM 软间隔SMO 求解SVM代码设计SVM是什么? 先来看看维基百科上对SVM的定义:支持向量机（英语：support vector machine，常简称为SVM，又名支持向量网络）是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给...
2020-05-01 22:54:46
198
原创 《机器学习基础》组队学习第四次打卡
条件随机场马尔可夫过程隐马尔科夫算法条件随机场 （以线性链条件随机场为例）代码实践：import numpy as npclass CRF(object):‘’‘实现条件随机场预测问题的维特比算法‘’’def init(self, V, VW, E, EW):‘’’:param V:是定义在节点上的特征函数，称为状态特征:param VW:是V对应的权值:param E...
2020-04-29 21:25:55
158
原创 《机器学习基础》组队学习第三次打卡
EM算法EM算法概述高斯混合分布TBDEM算法概述概率模型有时候既含有观测变量，又含有隐变量或潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计方法估计模型参数，但是当模型含有隐变量时，就不能简单的使用这些方法，EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法高斯混合分布EM算法的一个重要应用场景就是高斯混合模型的参数估...
2020-04-26 15:51:43
111
原创 《机器学习基础》组队学习第二次打卡
一、学习内容：贝叶斯概率模型二、知识点梳理相关概念（生成模型、判别模型)先验概率、条件概率贝叶斯决策理论贝叶斯定理公式极值问题情况下的每个类的分类概率下溢问题如何解决零概率问题如何解决？优缺点sklearn参数详解，Python绘制决策树1. 相关概念**生成模型：**在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测...
2020-04-23 21:22:13
112
原创 《机器学习基础》组队学习打卡1
本节内容：线性回归的概念¶主要学习以下5个方面：线性回归的原理线性回归损失函数、代价函数、目标函数优化方法(梯度下降法、牛顿法、拟牛顿法等)线性回归的评估指标sklearn参数详解1、线性回归的一般形式：有数据集 {(????1,????1),(????2,????2),…,(????????,????????)} ,其中, ????????=(????????1;????????2;????????3;…;????????????),????????∈????其中n表示变量的数量，d
2020-04-21 21:20:27
138
1
原创 《数据挖掘》组队学习第五次打卡
一、学习内容task5-模型融合模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。1.简单加权融合:回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；分类：投票（Voting)综合：排序融合(Rank averaging)，log融合2.stacking/blending:构建多层模型，并利用预测结果再拟合预...
2020-04-04 19:33:04
132
原创 《数据挖掘》组队学习第四次打卡
一、学习内容task4-建模调参线性回归模型：线性回归对于特征的要求；处理长尾分布；理解线性回归模型；模型性能验证：评价函数与目标函数；交叉验证方法；留一验证方法；针对时间序列问题的验证；绘制学习率曲线；绘制验证曲线；嵌入式特征选择：Lasso回归；Ridge回归；决策树；模型对比：常用线性模型；常用非线性模型；模型调参：贪心调参方法；...
2020-04-01 14:53:25
115
原创 《数据挖掘》组队学习第三次打卡
1 特征工程目标对于特征进行进一步分析，并对于数据进行处理2 内容介绍常见的特征工程包括：1）异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；2）特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对幂律分布，可以采用公式3）数据分桶：等频分桶；等距分桶；Best-...
2020-03-28 09:39:04
110
原创 《数据挖掘》组队学习第二次打卡
学习任务-EDA（Exploratory Data Analysis）是指对已有的数据（特别是调查或观察得来的原始数据）在尽量少的先验假定下进行探索，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。最常用的库包括：pandas，numpy,matplotlib,seaborn,pandas-profiling等，其中pandas,seaborn需要进一步学习...
2020-03-22 15:13:25
267
原创 《数据挖掘》组队学习打卡1
有幸在组队最后时刻加入战队，开始一段新的学习旅程。目前已完成task1的学习，关于赛题理解部分，本赛题属于比较简单的基础型项目，适合作为入门。#查看训练/测试数据概况：import numpy as npimport pandas as pdpath=’./data/’train_data=pd.read_csv(path+‘used_car_train_20200313.csv’,...
2020-03-21 09:30:34
107
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人