2019年11月_Twish

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 [阿里云][日志服务][数据加工][数据分析]基于日志服务(SLS)实现电商数据加工与分析

本文要点（json函数、ip映射函数专题）如何使用阿里云日志服务-数据加工做清洗数据如何使用阿里云日志服务强大的SQL做数据分析如何配置数据仪表大盘日志数据样例本文中的日志数据，以某大型电商一段时间的成交量数据为背景来展开工作的。具体日志数据如下：首先，从日志中可以看出每个用户购买的商品名称、商品价格、商品描述、商品分类以及用户的ip地址。此外，为了客户隐私本文中的隐去用户id。...

2019-11-06 10:27:34 1700

原创 [机器学习][理论知识][实践]KNN算法

文章目录1KNN算法原理2KNN三要素3KNN分类预测规则4KNN算法实现方式4.1KD Tree4.2KD Tree构建方式4.3KD tree查找最近邻5KNN参数说明1KNN算法原理K近邻(K-nearst neighbors, KNN)是一种基本的机器学习算法，所谓k近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。比如:判断一个人的人品，只需要观察...

2019-11-25 00:45:21 287

原创 [机器学习][理论知识][实践]回归算法

文章目录1回归算法概念2线性回归2.1线性回归、最大似然估计及二乘法2.1.1似然函数2.1.2最小二乘法的参数最优解2.1.3普通最小二乘法线性回归案例1回归算法概念回归算法是一种有监督算法回归算法是一种比较常用的机器学习算法，用来建立“解释”变量(自变量X)和观测值(因变量Y)之间的关系;从机器学习的角度来讲，用于构建一个算法模型(函数)来做属性(X)与标签(Y)之间的映射关系，在...

2019-11-11 00:45:35 732

文章目录1机器学习定义2机器学习基本概念3机器学习实际用途4机器学习、数据分析、数据挖掘区别与联系5机器学习分类(1)5.1有监督学习5.1.1判别式模型(Discriminative Model)5.1.2生成式模型(Generative Model)5.1.3小结5.2无监督学习5.3半监督学习(SSL)6机器学习分类(2)6.1分类6.2聚类6.3回归6.4关联规则7机器学习算法（TOP10...

2019-11-10 00:24:47 506 1

原创 [pip安装]添加镜像

最近老是遇到安装WARNING: Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ReadTimeoutError("HTTPSConnectionPool(host='pypi.org', port=443): Read time...

2019-11-09 16:25:29 3290

原创 [机器学习][基础编程][matplotlib]matplotlib基本操作

import matplotlib.pyplot as pltimport matplotlib.ticker import matplotlib as mplimport numpy as npplt.plot([1,2,3],[5,7,4])plt.show()matplotlib：图形 figurefigure：图形，matplotlib中的所有图像都是位于figure对...

2019-11-09 13:44:24 313

原创 [机器学习][基础编程][pandas]pandas基本操作

文章目录pandas基本数据结构Series：通过一维数组创建Series值的获取Series的运算Series缺失值检测Series自动对齐Series及其索引的name属性DataFrame: 通过二维数组创建DataFrame: 通过字典的方式创建索引对象DataFrame数据获取pandas基本功能pandas：数据文件读取pandas：数据过滤获取pandas：缺省值NaN处理方法pan...

2019-11-09 01:14:23 1007

原创 [机器学习][基础编程][numpy]numpy操作

概览数组与标量、数组之间的运算数组的矩阵积(matrix product)数组的索引与切片数组的转置与轴对换通用函数：快速的元素级数组成函数聚合函数np.where函数np.unique函数ndarray-数组与标量、数组之间的运算数组不用循环即可对每个元素执行批量的算术运算操作，这个过程叫做矢量化，即用数组表达式代替循环的做法。矢量化数组运算性能比纯Python方式快...

2019-11-07 00:57:52 252

原创 [机器学习][基础编程][numpy]numpy属性

概览ndim 数组轴(维度)的个数，轴的个数被称作秩shape 数组的维度, 例如一个2排3列的矩阵，它的shape属性将是(2,3),这个元组的长度显然是秩，即维度或者ndim属性size 数组元素的总个数，等于shape属性中元组元素的乘积。dtype 一个用来描述数组中元素类型的对象，可以通过创造或指定dtype使用标准Python类型。不过NumPy提供它自己的数据类型。ite...

2019-11-05 00:09:09 228

原创 [机器学习][基础编程][numpy]numpy创建数组

import numpy as npa = np.array([1,2,3,4])b = np.array([5,6,7,8])print(a)print(b)[1 2 3 4][5 6 7 8]a_two = np.array([ [1,2,3], [4,5,6], [7,8,9]])print(a_two)[[1 2 3] [4 5 6]...

2019-11-04 23:58:31 259

原创 [时间专题][Python]time的使用

time常用方法时间元组时间格式案例import datetimeimport time"""1.将字符串的时间"2019-11-10 23:40:00"转换为时间戳和时间元组"""time_str = "2019-11-10 23:40:00"time_tuple = time.strptime(time_str,"%Y-%m-%d %H:%M:%S")print(t...

2019-11-03 18:36:44 168