- 博客(17)
- 收藏
- 关注
RSS订阅原创 Chapter 6 Docker Compose
Chapter 6 Docker Compose相信大家学完之前的内容已经对docker的操作很熟悉了，但是有没有一种感觉，如果我一个项目要起好多个容器，每个容器之间又相互之间有一些关联，有些情况下又要修改一些容器，这种情况写起来会特别的麻烦，那么有没有一种方式能让我把项目快速的启动起来呢？答案肯定是有的，接下来就让我们学习一下docker compose。关于docker compose的安装请移步docker compose安装与卸载或根据docker官网进行安装。对于docker compos
2021-04-21 22:20:26
201
原创 深度学习模型搭建与训练
01 前情摘要环境出现问题故借鉴github前面的task2与task3讲解了音频数据的分析以及特征提取等内容，本次任务主要是讲解CNN模型的搭建与训练，由于模型训练需要用到之前的特侦提取等得让，于是在此再贴一下相关代码。1.1 导包In [1]:#基本库import pandas as pdimport numpy as nppd.plotting.register_matplotlib_converters()import matplotlib.pyplot as plt%matpl
2021-04-20 00:16:49
1321
原创 2021-04-19
Chapter 5 Docker 网络目录Docker 基础网络介绍外部访问容器容器互联配置DNSDocker的网络模式Bridge 模式Host 模式None 模式Container 模式Docker高级网络配置快速配置指南容器访问控制端口映射实现配置docker0网桥自定义网桥工具和示例编辑网络配置文件实例：创建一个点到点连接Docker 基础网络介绍外部访问容器容器中可以运行一些网络应用，要让外部也可以访问这些应用，可以通过-P或-p参数来指定端口映射。当
2021-04-19 22:26:10
202
原创 二手车Task3 特征工程
二手车Task3 特征工程常见的特征工程包括：异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对幂律分布，可以采用公式： log(1+x1+median)log(\frac{1+x}{1+median})log(1+median1+x)数据分桶：等频分桶；等距分桶；Best-KS 分桶（类似利用基尼指数进行二分类）；卡方分桶；缺失值
2021-04-19 22:06:02
1846
原创 2021-04-17
特征提取背景在之前的Task2中，我们初步查看了数据集的信息，并通过音频的声波图和声谱图将声音可视化了。当我们拿到这些音频数据之后，接下来就需要进行特征提取（过滤掉背景噪音等不需要的信息）筛选出我们需要的信息了。接下来我们将简要介绍以下特征，并详细学习MFCC特征提取知识：过零率 （Zero Crossing Rate）频谱质心 （Spectral Centroid）声谱衰减 (Spectral Roll-off）梅尔频率倒谱系数 （Mel-frequency cepstral coeffici
2021-04-17 22:42:33
2148
1
原创 智二手车特征工程
Datawhale 零基础入门数据挖掘-Task3 特征工程三、 特征工程目标Tip:此部分为零基础入门数据挖掘的 Task3 特征工程 部分，带你来了解各种特征工程以及分析方法，欢迎大家后续多多交流。赛题：零基础入门数据挖掘 - 二手车交易价格预测地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX3.1 特征工程目标对于特征进
2021-04-16 21:32:45
115
原创 智慧海洋task数据分析
#coding:utf-8#导入warnings包，利用过滤器来实现忽略警告语句。import warningswarnings.filterwarnings(‘ignore’)import numpy as npimport pandas as pdfrom matplotlib import pyplot as pltimport seaborn as snsIn [2]:from tqdm import tqdmimport multiprocessing as mpimport
2021-04-16 21:20:55
155
原创 docker task03
前言：我们知道docker容器内产生或修改的数据仅在该容器内有效，即容器关闭，其之前产生或修改的数据也就删除了，这明显不能满足我们大多数场景的需求。当然这只是默认，docker为我们提供了多种保存数据的方式。如下方式一：Volumes–它是由docker管理和创建的(也是和Bind mounts主要区别bie),你可以在使用它之前创建也可以在启动容器的时候一起创建。在启动的时候不指定名称就是匿名volumes。更重要的是它支持volume drivers(驱动),这样就可以支持远程共享数据(这也是dock
2021-04-16 21:08:54
139
原创 二手车Task2 数据分析
#coding:utf-8#导入warnings包，利用过滤器来实现忽略警告语句。import warningswarnings.filterwarnings('ignore')import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport missingno as msno## 1) 载入训练集和测试集；path = './'Train_data = p
2021-04-15 12:25:41
421
原创 Task2 食物声音识别-赛题数据介绍与分析
声音是如何产生的声音以波的形式传播，即声波（Sound Wave）。当我们以波的视角来理解声音时，却又大繁若简起来：仅凭频率（Frequency）、 幅度（Magnitude）、相位（Phase）便构成了波及其叠加的所有，声音的不同音高（Pitch）、音量（Loudness）、音色（Timbre） 也由这些基本“粒子”组合而来。声音以波的形式传播，即声波（Sound Wave）。当我们以波的视角来理解声音时，却又大繁若简起来：仅凭频率（Frequency）、 幅度（Magnitude）、相位（Phase）
2021-04-14 23:01:30
210
原创 Chapter 2 Docker镜像与容器
Docker镜像获取镜像获取镜像之前提到过，Docker Hub 上有大量的高质量的镜像可以用，这里我们就说一下怎么获取这些镜像。从 Docker 镜像仓库获取镜像的命令是 docker pull。其命令格式为：$ docker pull [选项] [Docker Registry 地址[:端口号]/]仓库名[:标签]具体的选项可以通过 docker pull --help 命令看到，这里我们说一下镜像名称的格式。Docker 镜像仓库地址：地址的格式一般是 <域名/IP>[:
2021-04-14 19:39:42
169
原创 智慧海洋建设-Task1 地理数据分析常用工具
智慧海洋建设-Task1 地理数据分析常用工具在地理空间数据分析中，常会用到许多地理分析的工具，在本模块中主要是针对常用的shapely、geopandas、folium、kepler.gl、geohash等工具进行简单介绍。其中shapely和geopandas是做地理空间数据的分析很好的工具，而folium和kepler.gl是进行地理数据可视化的工具，geohash是将经纬度坐标进行数据编码的方式。通过了解不同的方法将有助于我们去思考如何在现有的工具下去做数据的分析和特征的提取功能学习目标1.了
2021-04-13 23:56:25
614
原创 二手车交易价格预测
二手车交易价格预测数据来源：该数据来自某交易平台的二手车交易记录，总数据量超过40w，包含31列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取15万条作为训练集，5万条作为测试集，同时会对name、model、brand和regionCode等信息进行脱敏。该项目数据来自阿里天池，数据链接：https://tianchi.aliyun.com/competition/entrance/231784/information。字段列表：SaleID : 交易ID，唯一编码name
2021-04-13 19:06:28
845
原创 Task1 食物声音识别-Baseline
Task1 食物声音识别-Baseline!wget http://tianchi-competition.oss-cn-hangzhou.aliyuncs.com/531887/train_sample.zip--2021-04-12 23:39:55-- http://tianchi-competition.oss-cn-hangzhou.aliyuncs.com/531887/train_sample.zipResolving tianchi-competition.oss-cn-hangz
2021-04-12 23:50:22
133
原创 CentOS 安装 Docker
CentOS 安装 Docker准备工作系统要求Docker 支持 64 位版本 CentOS 7/8，并且要求内核版本不低于 3.10。 CentOS 7 满足最低内核的要求，但由于内核版本比较低，部分功能（如 overlay2 存储层驱动）无法使用，并且部分功能可能不太稳定。卸载旧版本旧版本的 Docker 称为 docker 或者 docker-engine，使用以下命令卸载旧版本：$ sudo yum remove docker \ docker-cl
2021-04-12 13:22:32
142
转载 Docker简介与安装
Docker简介与安装Docker简介Docker三大基本概念Docker镜像分层存储Docker容器Docker Registry 公开服务私有 Docker RegistryDocker安装Docker简介Docker 最初是 dotCloud 公司创始人 Solomon Hykes (opens new window)在法国期间发起的一个公司内部项目，它是基于 dotCloud 公司多年云服务技术的一次革新，并于 2013 年 3 月以 Apache 2.0 授权协议开源 (opens new w
2021-04-12 13:00:59
72
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人