大数据
文章平均质量分 67
卑微-程序员
这个作者很懒,什么都没留下…
展开
-
机器学习的初学术语掌握
读西瓜书学的一些术语原创 2022-11-15 19:01:07 · 893 阅读 · 2 评论 -
docker提交镜像到阿里ack整体流程
# 从天池基础镜像构建(from的base img 根据自己的需要更换,建议使用天池open list镜像链接:https://tianchi.aliyun.com/forum/postDetail?postId=67720)## 把当前文件夹里的文件构建到镜像的//workspace目录下,并设置为默认工作目录。##安装依赖包,pip包请在requirements.txt添加。## 镜像启动后统一执行 sh run.sh。#执行math.py。原创 2022-09-28 19:46:24 · 899 阅读 · 0 评论 -
Docker入门Dockerfile详解及镜像创建
基于dockerfile的文件创建镜像,更适合需要安装的依赖较多的情况,而如果只是搭建简单的基础镜像配置少数依赖,反而不如直接run,在容器中安装,之后再commit来的方便.重新将安装依赖的容器构建成镜像,不难发现commit的时候速度比之前更快,而且push的时候,只提交了一层,其他曾远程仓库都表示已经存在,减少提交时间。删除03版本的docker镜像,需要注意,不能直接删除02版本的docker镜像,因为子版本03存在。打开重新tag的镜像,然后安装panda。docker将容器变为新的镜像。原创 2022-09-28 15:23:17 · 453 阅读 · 0 评论 -
Docker安装及基本命令
之后使用docker build可以构建我们需要的镜像,建议在构建前就将需要的包安装进基础镜像,减少后续等待时间,同时我们可以用docker tag来对镜像打版本操作,利用docker commit来对容器进行打包,只是commitcommit操作不仅会把有用的修改保存下来,对一些无关的修改也会保存下来(每一个命令行操作都会生成存储如ls操作)就会导致镜像比较臃肿,而且docker commit属于黑箱操作,不利于后续的问题排查,所以尽量使用dockerfile替代docker commit.原创 2022-09-28 13:35:16 · 763 阅读 · 0 评论 -
docker基础知识
docker的出现最初是为了降低部署的难度,传统的部署需要利用虚拟机的技术,docker则是直接部署在宿主机上,在数据迁移的时候再也不需要顾虑对应的机器是什么环境,需要在机器上提前安装什么.docker作为虚拟机领域成熟的轻量化容器产品,可以轻松的将代码和所依赖的整个环境(可以理解为包含整个操作系统)都打包在一起,不依赖于软件环境,方便把自己的代码和环境从一个系统部署到另外一个系统, docker三要素:镜像(image)、容器(contarin)、registry(包含多个仓库).原创 2022-09-28 10:17:34 · 587 阅读 · 0 评论 -
SQL进阶:综合练习题-10道经典
进行测试前,需要先下载建表语句和插数脚本。脚本文件名前面的序号表示用到该数据集的题目序号,例如1-7market data.sql表示第1题和第7题用到了该数据,可以在建好库之后,在mysql使用source+文件地址 执行sql脚本,但是下载的文件名有空格,会报错路径无法找到,我删除空格规避错误。source的时候速度会有点慢,可以先set sql_log_bin=off;关闭二进制日志和关闭事务自动提交,然后用事务的方式提交,start transaction;souce 文件.sql;原创 2022-09-27 14:22:39 · 707 阅读 · 0 评论 -
sql进阶窗口函数+花式分组rollup
平常的groupby只能针对需要的列分组,比如省会和商品名称粒度下的销售额,但是我还需要单独省会聚合的计算的销售额和不同商品聚合的销售额,写三个表或者union拼接,效果都不理想。其语法规则如上,partition by用来在窗口分组,效果类似group by,而order by则进行窗口的排序。在窗口函数使用的时候,我们还可以计算的累计到当前行的所有数据的集合,而汇总的范围则称为框架。比较常见的窗口函数,如求和,最大值,最小值等聚合函数,排序使用的rank等排序函数。窗口函数也称为OLAP函数。原创 2022-09-22 16:21:55 · 305 阅读 · 0 评论 -
集合运算-表的加减法和join等
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql。原创 2022-09-22 13:11:02 · 146 阅读 · 0 评论 -
复杂查询方法-视图、子查询、函数等
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql。原创 2022-09-19 16:03:50 · 337 阅读 · 0 评论 -
SQL基础查询与排序
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql。原创 2022-09-19 14:39:30 · 436 阅读 · 0 评论 -
sql系列,从mysql初步认识数据定义和数据操纵
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql目前学习数据库,基本都是以mysql为主流,其他的数据库要么是市场份额不大,要么是不开源或者体量太大。以mysql为例,在数据库中存储的表结构可以抽象理解为excel的行列,行也被叫做记录,列则被称为字段,从数据库的用户管理,权限分离,数据变更,增删改差,我们可以将sql的语法分为三类。数据定义语言ddl,负责对数据库和表管理;原创 2022-09-19 11:18:55 · 154 阅读 · 0 评论