- 博客(24)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据规整：连接、联合与重塑
目录数据规整：连接、联合与重塑1.分层索引1.1 重排序和层级排序1.2 按层级进行汇总统计1.3 使用DataFrame的列进行索引2 联合与合并数据集2.1数据库风格的DataFrame连接2.2根据索引合并2.3沿轴向连接2.4 联合重叠数据3 重塑3.1 使用多层索引进行重塑3.2 将长透视为宽3.3 将宽透视为长数据规整：连接、联合与重塑1.分层索引 一个轴向上有多个索引层级 每个轴都可以有分层索引 分层的层
2021-09-02 10:05:08
249
原创 Pandas的索引操作
Pandas的索引操作索引对象Index1. Series和DataFrame中的索引都是Index对象示例代码：print(type(ser_obj.index))print(type(df_obj2.index))print(df_obj2.index)运行结果：<class 'pandas.indexes.range.RangeIndex'><class 'pandas.indexes.numeric.Int64Index'>Int64.
2021-08-30 21:32:50
668
原创 Numpy通用函数
通用函数一元函数：函数 描述 np.abs 绝对值 np.sqrt 开根 np.square 平方 np.exp 计算指数(e^x) np.log，np.log10，np.log2，np.log1p 求以e为底，以10为低，以2为低，以(1+x)为底的对数 np.sign 将数组中的值标签化，大于0的变成1，等于0的变成0，小于0的变成-1 np.ceil 朝着无穷大的方向取整，比如5.1会变成6，-6.3会变成-6 n
2021-08-30 15:25:56
682
原创 NumPy数组基本用法
目录NumPy数组基本用法numpy中的数组：创建数组（np.ndarray对象）：ndarray常用属性：ndarray.dtype：ndarray.size：ndarray.ndim：ndarray.shape：ndarray.itemsize：NumPy数组基本用法 Numpy是Python科学计算库，用于快速处理任意维度的数组。 NumPy提供一个N维数组类型ndarray，它描述了相同类型的“items”的集合。 numpy.nda
2021-08-30 15:23:33
278
原创 np.random模块
目录np.random模块np.random.seed：np.random.rand：np.random.randn：np.random.randint：np.random.choice：np.random.shuffle：np.random模块np.random为我们提供了许多获取随机数的函数。这里统一来学习一下。np.random.seed：用于指定随机数生成时所用算法开始的整数值，如果使用相同的seed()值，则每次生成的随即数都相同，如果不设置这个值，则系
2021-08-30 15:21:35
367
原创 Numpy-Axis理解
Axis理解之前的课程中，为了方便大家理解，我们说axis=0代表的是行，axis=1代表的是列。但其实不是这么简单理解的。这里我们专门用一节来解释一下这个axis轴的概念。简单来说， 最外面的括号代表着 axis=0，依次往里的括号对应的 axis 的计数就依次加 1。什么意思呢？下面再来解释一下。 最外面的括号就是axis=0，里面两个子括号axis=1。 操作方式：如果指定轴进行相关的操作，那么他会使用轴下的每个直接子元素的第0个，第1个，第2个...分别进行相关的操作。现在我们用刚刚理解
2021-08-30 09:13:04
177
原创 NAN和INF值处理
目录NAN和INF值处理NAN一些特点：删除缺失值：用其他值进行替代：NAN和INF值处理首先我们要知道这两个英文单词代表的什么意思： NAN：Not A number，不是一个数字的意思，但是他是属于浮点类型的，所以想要进行数据操作的时候需要注意他的类型。 INF：Infinity，代表的是无穷大的意思，也是属于浮点类型。np.inf表示正无穷大，-np.inf表示负无穷大，一般在出现除数为0的时候为无穷大。比如2/0。 NAN一些特点： NAN和NAN不
2021-08-29 18:58:54
1643
原创 Numpy文件操作
目录文件操作操作CSV文件：文件保存：读取文件：np独有的存储解决方案：CSV文件操作：读取csv文件：写入数据到csv文件：文件操作操作CSV文件：文件保存：有时候我们有了一个数组，需要保存到文件中，那么可以使用np.savetxt来实现。相关的函数描述如下：np.savetxt(frame, array, fmt='%.18e', delimiter=None)* frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件* arra
2021-08-29 18:51:05
118
原创 NumPy数组基本用法
目录NumPy数组基本用法numpy中的数组：创建数组（np.ndarray对象）：ndarray常用属性：ndarray.dtype：ndarray.size：ndarray.ndim：ndarray.shape：ndarray.itemsize：NumPy数组基本用法 Numpy是Python科学计算库，用于快速处理任意维度的数组。 NumPy提供一个N维数组类型ndarray，它描述了相同类型的“items”的集合。 numpy.nda
2021-08-29 14:38:39
198
原创 Numpy数组操作
目录Numpy数组操作索引和切片：布尔索引：值的替换：数组广播机制：数组与数的计算：数组与数组的计算：广播原则：数组形状的操作：reshape和resize方法：flatten和ravel方法：不同数组的组合：数组的切割：数组（矩阵）转置和轴对换：Numpy数组操作索引和切片： 获取某行的数据： # 1. 如果是一维数组 a1 = np.arange(0,29) print(a1[1]) #获取下标为1的元素 a1 =
2021-08-29 14:36:23
861
原创 SQL之高级特性
--SQL 事务管理事务开始语句；(BEGIN TRANSACTION) DML语句1；(INSERT/UPDATE/DELETE) DML语句2； DML语句3；...事务结束语句；（COMMIT/ROLLBACK）注意：1.COMMIT:提交：将SQL语句的执行结果写入数据表中2.ROLLBACK:回滚：撤销SQL语句的执行结果，CREATE/DROP不可以回滚3.保留点：时间点的备份，可以对其发布回退，即ROLLBACK TO <回退点>--S...
2021-08-27 11:04:38
211
原创 SQL之视图
--虚拟的表 视图视图(VIEW):一面镜像，本身不包含数据，源数据改变，镜像也跟着改变CREATE VIEW 视图名 AS 目标二维表；注意：1.视图可以嵌套2.ORDER BY无意义，部分DBMS禁止3.所有SELECT操作4.有限制的更新数据，但是不建议5.视图名唯一6.字段名唯一删除视图：DROP VIEW--固化SQL语句 存储过程存储过程：将多条语句存为集合，即自己编写的函数CREATE DEFINER = CURRENT_USER PROCEDURE `T..
2021-08-27 09:49:49
108
原创 SQL之表操作
--表操作 创建表CREATE TABLE <表名> { <列名> <数据类型> <该列所需的约束>, <列名> <数据类型> <该列所需的约束>, <列名> <数据类型> <该列所需的约束>, }；注意：1.该列所需的约束即为该列的属性，...
2021-08-27 09:33:34
284
原创 SQL之数据插入、更新、删除
--数据插入 INSERT INTOINSERT INTO <表名> (列1, 列2, 列3...) VALUES (值1, 值2, 值3...);注意：1.对表进行全列INSERT时，表名后的列清单可以省略。2.插入的值允许NULL（前提：该列不能设置NULL的约束）或缺省（有默认值设置为默认值否则为NULL）或默认值DEFAULT3.可以调整列名的顺序，可以只给部分列名，表结构也不会发生变化。插入检索数据：将SELECT语句查询的结果直接插入表中INSERT INTO <
2021-08-27 09:05:54
379
原创 SQL之多表查询
--标量子查询子查询：嵌套在其它查询中的查询标量子查询：只返回一行一列（即一个单元格数据）的子查询。相当于是一个数SELECT ... ---查询的内容不做限制 FROM ... WHERE ( ---表示大小关系的>/=/< SELECT... ---目标值：一行一列一个值，当做常数处理 FROM... WHERE...)；--关联子查询嵌套在其他.
2021-08-26 19:16:02
1148
原创 SQL之关联子查询
数据：SELECT * FROM milk_tea AS M1 WHERE sale_price > ( SELECT AVG(sale_price) FROM milk_tea AS M2 WHERE M1.prod_name = M2.prod_name );这段代码的作用是：先计算6类商品的平均售价，然后选取每类商品中高于平均售价的商品。解释一下这句话的过程：WHERE ...
2021-08-26 18:51:08
248
1
原创 SQL之聚合与分组
--数据分析之聚合函数函数表达式 = 聚合函数名 + （参数）注意：1.输入的是列2.输出的是一行3.汇总该列，不实际检索数据，而是汇总处理数据4.聚合函数会将NULL排除在外，但COUNT(*)例外。只要有列名作为参数，NULL就会被排除在外。--计数函数 COUNT唯一一个可以用*的聚合函数1.COUNT(*)/COUNT(1) 确定表中行的数目（包含NULL的数据行数）或符合条件的行的数目2.COUNT(col) 只作用于非NULL行（NULL的数据行不计数） 不可重复计数多列（c
2021-08-26 12:35:15
2015
原创 SQL之数据处理
数据处理--数据类型--数值型1.INTEGER定义：整数型，整型。只能储存整数用法：INTEGER, INTEGER(10)其中10为显示的宽度2.DECIMAL定义：定点型。储存固定位数的小数用法：DECIMAL(2, 2), DECIMAL(4, 2)注意：用于精度计算，比如说金额；多出的位数四舍五入；默认参数值为DECIMAL(10, 0)3.FLOAT/DOUBLE/REAL定义：浮点型；储存不固定位数的小数用法：FLOAT/DOUBLE/REAL, FLOAT(5,
2021-08-26 10:32:48
786
原创 SQL之SELECT查询
--对列名设置别名SELECT [列名1],[列名2] AS [别名],[列名3],...FROM [表名]；--对表名设置别名SELECT [别名].[列名1],[别名].[列名2],[别名].[列名3],...FROM [表名] AS [别名]；--字符拼接 CONTACT应用场景：组合多信息为一列，对列的信息进行补充SELECT CONTACT([列名1],[列名2]...)FROM [表名];--...
2021-08-26 09:10:38
1630
原创 docker: error pulling image configuration:timeout
docker: error pulling image configuration:timeout报错：docker: error pulling image configuration:dial tcp 104.18.121.25:443: i/o timeout.解决：vim /etc/docker/daemon.json{ "registry-mirrors": ["https://registry.docker-cn.com","https://nrbewqda.mi..
2020-09-26 19:55:30
4002
原创 强化学习入门
base component强化学习当中基础的三个组成部分就是actor, environment, reward。举一个例子来说明这三个组成部分。假设机器玩游戏，actor就是机器操作游戏的摇杆控制向左向右还是开火，env就是游戏的主机，提供游戏的画面。reward就是机器在看到游戏画面采取行动之后得到的分数。再举个例子alphago下围棋，actor就是go，evn就是对手，reward ...
2020-03-02 20:34:12
223
原创 Meta-Transfer Learning:A Meta-Learning Approach for Custom Model Training
这篇paper，感觉有点牛哎~只有两页为了克服之前提出来的两个问题，我们提供一个新的训练算法，这个算法继承了元学习和遗传学习的优势。这个联合训练方法使用了两个损失函数：1）task-specific（遗传学习）： 定义在整个基础模型的训练集上2）task-agnostic（元学习）： 定义在任务分布的元学习损失（例如：5个分类的分类任务）从这两个 损失函数 中...
2019-10-17 09:09:54
590
2
原创 斯坦福大学 2014 机器学习-监督学习和无监督学习
监督学习：我们给学习算法一个数据集，这些数据集由正确答案组成。（我们已经知道训练集对应的正确答案）例子1：预测房价：属于回归问题：数据集：房子的面积及实际房价。 目标：想要知道80平的房子可以卖多少钱。 机器学习算法： 用一条直线拟合这些数据，根据这条线推测出80平房子的房价 用二元方程拟合这些数据 什么是回归问题？可以推测出连续值的结果。房价实际上是离散的，因为房价一般...
2019-04-22 10:28:41
142
原创 Markdown语法基于Typora软件的使用学习
Markdown语法基于Typora软件的使用学习选择Typora的原因：方便下载，功能够用，免费。Markdown语法基于Typora软件的使用学习第一步：了解Typora编辑界面第二步：语法学习1.字体设置2.分级标题3.超链接3.1行内式（添加链接）3.2参考式（学术论文参考文献）3.3自动链接4.列表4.1无序列表5.2有序列表5.引用5.1多层嵌套5.2引用其它要素6.插入图片7.表格第...
2018-02-19 19:35:05
530
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人