- 博客(86)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 机器学习（1）--- 数据预处理
一、 为什么需要数据预处理数据预处理是在数据分析中必不可少的部分，它在数据分析工作中的地位就相当于做饭之前必须洗菜，将青菜上的细菌、病毒或其他不干净的东西洗净，将不新鲜的部分去除，只不过，作为数据分析人员，我们要清洗的是数据，将数据中的缺失值、重复值、以及其他异常值进行处理，将分类数据进行标准化，将不同数量级的数据进行特征缩放，这就是数据预处理应该做的工作。二、python预处理模板引入第三方库import numpy as npimport pandas as pdimport matop
2021-04-20 19:43:48
1411
原创 数据分析项目 基于K-Means算法的广告聚类分析（6）----使用雷达图对不同聚类对比分析
一、获取各集群的数值特征均值、并标准化nums_data = cluster_pd.iloc[:6, :].T.astype(np.float64) # 获取数据并转换为浮点数nums_min_max = min_max_model.fit_transform(nums_data) # 获取标准化（归一化）后的数据print(nums_min_max.round(4))结果[[0. 0. 0. 1. 0. 0. ] [0.2473 0.
2021-04-16 20:36:07
2741
4
原创 数据分析项目 基于K-Means算法的广告聚类分析（5）----KMeans建模：基于平均轮廓系数，找到最佳K值
一、基于K-Means获取最佳K值score_list = []max_score = -1for k in range(2, 6): # 2，3，4，5 kmeans_model = KMeans(n_clusters=k) # 建模 kmeans_temp = kmeans_model.fit_predict(data_matrix) # 计算点距离 # print(kmeans_temp) score = silhouette_score(data_matr
2021-04-16 19:54:45
1466
原创 数据分析项目 基于K-Means算法的广告聚类分析（4）----特征数字化：独热编码（One-Hot）
一、为什么要进行特征数字化这是没有进行特征数字化之前的数据 素材类型 广告类型 合作方式 广告尺寸 广告卖点0 jpg banner roi 140*40 打折1 jpg banner cpc 140*40 满减2 jpg banner cpc 140*40 满减3 jpg banner cpc 140*40 满减4 jpg banner cpc 140*40 满减5 jpg
2021-04-15 22:39:45
1307
原创 数据分析项目 基于K-Means算法的广告聚类分析（3）----数据标准化：归一化Min-Max，0-1区间
一、为什么要进行数据标准化这是未标准化前的数据这里取了原数据第2列到第7列的数据日均UV 平均注册率 平均搜索量 访问深度 订单转化率 投放总时间0 3.69 0.0071 0.0214 2.3071 0.0258 201 178.70 0.0040 0.0324 2.0489 0.0030 192 91.77 0.0022 0.0530 1.8771 0.0026 43
2021-04-15 21:59:13
1230
原创 数据分析项目 基于K-Means算法的广告聚类分析（2）----计算、合并：相关性
一、为什么要计算相关性#在使用K-Means进行聚类分析时，该算法会计算数据与中心点之间的欧氏距离，两个高相关性的变量会使算法重复计算高相关特征，这会夸大影响，影响最终的聚类结果，因此需要合并高相关性变量二、变量相关性的计算计算变量之间的相关性，并保留四位小数data.corr().round(4).T查看结果 日均UV 平均注册率 平均搜索量 访问深度 平均停留时间 订单转化率 投放总时间日均UV 1.0000 -0.0512 -0.07
2021-04-15 21:14:11
852
原创 数据分析项目 基于K-Means算法的广告聚类分析（1）---- 数据清洗
一、背景与目标背景某电商企业，有多个广告投放渠道，该企业希望通过之前的数据对每一个渠道进行分析评价，根据不同渠道的特征，有针对性地指定广告投放策略，实现利益的最大化目标基于K-Means算法，对不同的广告投放渠道进行聚类分析，找到不同渠道的特征，从而实现有针对性地进行广告投放。二、分析思路观察数据，对数据进行清洗计算相关的指标将不同数量级的数据缩放到同一数量级中，将文本数据进行虚拟编码，将其数字化使用K-Means进行建模三、数据的来源及数据的情况数据来源：Kaggl
2021-04-14 22:27:38
1729
1
原创 数据分析项目 基于RFM的精细化管理（5）---- 使用Tableau进行可视化
一、使用Tableau的原因Tableau绘制色彩丰富的图表较为容易Tableau使用起来较为快捷、方便本项目的数据适合使用简单图表显示，节省了使用代码实现可视化的时间Tableau对图表标注的操作较为简单，容易上手二、需要进行可视化的指标客户类型占比主要是看各种类型的客户的占比情况，以便于针对客户类型的占比情况指定策略。客户消费占比主要是看各种类型的客户的消费情况，以便了解哪些类型的客户是对总销售额贡献较大的客户，针对这些客户给予一定的福利，维持这些客户。三、使用Tableau
2021-04-06 22:25:39
563
原创 数据分析项目 基于RFM的用户精细化管理（4）---- 基于用户的RFM得分给用户贴标签
一、计算用户的R标签、F标签、M标签分别计算R、F、M指标得分的均值在主数据旁的单元格内分别列出指标、均值在均值列输入=AVERAGE(),分别选中R得分、F得分、M得分列得到R、F、M得分均值在主数据旁新建3列，分别标为R标签、F标签、M标签在R标签中输入：=IF(E:E>$O$32,1,0)如果R得分大于均值，就标记为1，否则标记为0F标签、M标签同理F标签：=IF(F:F>$O$33,1,0)M标签：=IF(G:G>$O$34,1,0)二、根据R、F、M
2021-04-02 21:03:12
686
1
原创 数据分析项目 基于RFM的用户精细化管理（3）---创建评分卡、计算客户的RFM得分
一、建立评分卡根据上一节K-Means得到的阈值，可以建立一个评分卡如下图二、计算R、F、M得分在原来数据之中加入三列分别记为R得分、F得分、M得分在R得分列输入：=IF(B:B>807,1,IF(B:B>498,2,IF(B:B>245,3,IF(B:B>58,4,5))))选中R：最近一次交易间隔天数，根据阈值判断它得了多少分，R越小，分数越高F和M同理，但这两个值是越大分数越高在F得分列输入：=IF(C:C<3,1,IF(C:C<10,2
2021-04-02 18:29:38
651
原创 数据分析项目 基于RFM的用户精细化管理（2）---- 使用K-Means聚类算法确定评分卡阈值
一、K-means聚类算法的步骤1.选择聚类的个数K2.随机抽取K个点作为初始化的中心点3.对于数据集中的每一点，计算它与中心点的欧氏距离，可以找到一个最短距离，从而确定这个点是属于哪一类4.计算新的中心点，用第三步的分配结果，重新计算分配好的每一个类中的中心点5.循环，重新分配所有的点，若重新分配的结果与之前相同，那么就说明已经找到了最佳的K-Means分配结果，若不同，重新进入第4步，循环二、K-Means初始中心点的陷阱若初始中心点恰巧选择了某些局部最小值，那么这些类会在一开始就固定不变
2021-04-02 17:32:37
2103
10
原创 数据分析项目 基于RFM的用户精细化管理（1）---- 数据预处理
一、 背景与目标背景这是一家网上商城近三年的销售数据，其希望针对不同类型的客户进行差异化营销，实现更加合理的资源分配，获取最大的客户转化。为了实现上述目的，我们将使用RFM模型进行分析。RFM模型是评价客户价值和客户消费潜力的重要手段，是CRM中的重要模型，通过交易环节中最核心的三个指标：最近消费、消费频率、消费金额进行分析，对用户进行细分，体现不同用户的价值。目标基于消费数据，利用K-Means聚类算法，找到合适的划分区间，利用RFM模型对客户进行分类，提出针对不同类别的客户的营销方案。
2021-03-25 16:43:07
872
原创 数据分析 --- 数据可视化需要注意的问题
一、可视化数据的思路明确分析结论将分析过程用文字表述将文字转化为图表检查、调整图表展示图表二、可视化的本质和好处本质：将分析的结论用简洁直白的方式展现出来，突出分析结论的重点，不应过分追求华丽。好处：使观看者对业务信息接受更快有利于沟通更好的连接运营与业务三、数据形象化指标值形象化对数据指标值用图形的方式展现，并进行视觉优化，如使用三维立体图形通过构建场景来表现前提是要把握数据之间的内在联系，如简单到复杂、从前到后等，可以使用阶梯式（如受教育的程度）、领奖台式
2021-03-23 21:10:02
2778
原创 numpy --- 数组的向量化
一、向量化的概念和好处向量化：使用NumPy数组的数组表达式完成多种数据操作任务，而无须写些大量循环。这种利用数组表达式来替代显式循环的方法，称为向量化向量化的好处：加快运行速度，向量化的数组操作会比纯Python的等价实现在速度上快一到两个数量级（甚至更多）二、一个例子对一些二维数据来计算函数sqrt（x^2 + y^2）的值。使用np.meshgrid函数接收两个一维数组，并根据两个数组的所有（x，y）对生成一个二维矩阵：import numpy as npimport matp
2021-03-22 22:02:22
910
原创 numpy --- 集合函数
一、集合函数的概念可以使用numpy数组实现数学上的集合运算的函数，叫做集合函数。二、常见的集合函数三、一些例子引入numpyimport numpy as npnp.unique 返回的是数组中唯一值排序后形成的数组import numpy as np# np.unique，返回的是数组中唯一值排序后形成的数组names =np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])print("*********
2021-03-22 21:34:59
319
原创 数据分析 --- 数据分析的误区
在数据分析的过程中，我们难免会走一些弯路，但有些弯路是可以避免的，下面我将介绍几个数据分析过程中常见的误区：一、 选取的样本容量有误我们一定都听说过二战中的一个经典示例：军方为了提高战斗机飞行员的生还率，打算在飞机上增加装甲的厚度，但不能在所有部位加厚，这样会丧失战机的灵活性，于是军方请了统计学家来研究，这些专家在一开始就只统计了战斗回来的战机，研究这些战机上的弹孔的分布，在弹孔比较密集的地方增厚装甲，但这并没有提高飞行员的生还率，后来有人想明白了这个问题，那就是应该研究没有回来的飞机，它们中弹的地方
2021-03-21 21:33:16
301
原创 numpy ---通用函数
一、概念与作用概念：通用函数，也可以称为ufunc，是一种在ndarray数据中进行逐元素操作的函数。作用：某些简单函数接收一个或多个标量数值，并产生一个或多个标量结果，而通用函数就是对这些简单函数的向量化封装有很多ufunc是简单的逐元素转换，比如sqrt或exp函数：二、常见的通用函数三、一些例子引入numpyimport numpy as npnp.sqrt() 对数组中的元素进行开平方arr= np.arange(10) # 创建一个数组print("原数
2021-03-20 21:30:57
369
原创 数据分析 --- 如何分析数据
数据分析常用分析方法基本分析法基本思想：从宏观角度对企业的发展概况进行预估三个部分：1.宏观因素分析分析本行业的行情，本行业各个企业的分布状况，以及各企业的经营模式，对行业的基本状况有所了解2.变动趋势分析分析这个行业的历史变动情况，最近的变动情况，以及各分布区域的变动情况，得到此行业的变动趋势，把握未来3.变动原因分析产销情况对比，国内外现状对比，同行业不同企业情况对比对引起变动的相关因素和可能相关因素进行分析，得到这个行业的变动原因，在此基础上，对企业的下一步计划进行调整高级
2021-03-20 21:00:11
260
原创 numpy ---数组的多维索引
一、用途用于描述使用整数数组进行数据索引二、初始工作引入numpyimport numpy as np创建一个空数组import numpy as nparr=np.empty((8,4))for i in range(8): arr[i]=i结果[[0. 0. 0. 0.] [1. 1. 1. 1.] [2. 2. 2. 2.] [3. 3. 3. 3.] [4. 4. 4. 4.] [5. 5. 5. 5.] [6. 6. 6. 6.] [7. 7. 7.
2021-03-19 22:33:50
2939
原创 数据分析 --- 如何处理脏数据
一、脏数据种类：缺失数据：可以通过填充平均值、按比例填充随机数等方法处理，若有备份数据，直接将备份数据引入即可重复数据：去除重复部分即可错误数据：可以通过以下三种方式解决：1.通过对数据区间进行限定，排除明显异常的数据2.通过系统的内部逻辑结构查找不符合格式的数据3.通过建立匹配规则，匹配不统一的数据不可用数据：正确，但无法直接使用，可以通过文本函数将其进行拆分（如日期数据）二、脏数据的常规处理方法结构化需要对数据进行缩减，将其变为可测量、可分析的结构如将用户评论中的好、
2021-03-19 20:54:25
10847
原创 numpy ---数组的索引与切片（2）
壹、二维数组引入numpy模块，并定义一个二维数组arr1import numpy as nparr1= np.array([[1,2,3],[4,5,6],[7,8,9]])arr[:x] 获取二维数组的前x行数据例：获取数组arr1的前两行数据print("原数据：",arr1)print("切片数据：",arr1[:2])结果原数据： [[1 2 3] [4 5 6] [7 8 9]]切片数据： [[1 2 3] [4 5 6]]arr[x,:y] 获取数组
2021-03-18 21:31:34
555
原创 numpy ---数组的索引与切片（1）
一、一维数组定义一个原始数组import numpy as nparr1=np.arange(1,11)print("原始数据：",arr1)结果原始数据： [ 1 2 3 4 5 6 7 8 9 10]arr[x] 获取第x个数据print("切片数据：",arr1[0]) # 获取数组第一个位置的数字结果原始数据： [ 1 2 3 4 5 6 7 8 9 10]切片数据： 1arr[:] 获取全部数据print("切片数据：",
2021-03-17 22:50:54
236
原创 numpy --- 数组的数据类型
一、数据类型数据类型，即dytpe，是一个特殊的对象，它包含了ndarray需要为某一种类型数据所申明的内存块信息。二、numpy中的数据类型三、一些示例引入numpyimport numpy as np- 将整数类型转换为浮点数类型定义一个整数类型数组arr1= np.array([1,2,3,4,5,6])print("-------------------")print(arr1)print(arr1.dtype)转换为浮点数类型arr2= arr1.astype(np
2021-03-17 21:55:25
4382
2
原创 numpy --- 数组生成函数
注意：以下所有实例需要事先引入numpyimport numpy as nprandom.randn 函数作用：生成一个指定行列数的随机数组例：生成一个2行3列的随机数组data=np.random.randn(2,3) # 生成2行3列随机数组print(data)结果[[ 0.40444093 -0.06987251 0.00759544] [ 1.22969751 0.39730171 1.42576693]]shape函数作用： 查看数组形状例：查看dat
2021-03-16 21:06:35
1007
原创 数据分析 --- 收集数据的技巧
一、要充分理解收集数据的目的在进行数据法分析之前，一定要明确要对什么进行数据分析，为什么要数据分析，怎样分析，这是一切分析工作的源头。可以使用的方法：逻辑树逻辑树的主要思想：将问题分层罗列，对问题进行分层，逐步向下扩展。逻辑树的原则需要将相关问题归结为一类问题需要将各要素归结为一个完整框架，不能有重复或遗漏之处各要素之间应当有一定的联系，不能出现孤立要素例：问题：提升利润增速可以拆解为三个方面的问题：收入、成本、价格收入可以拆解为：主营业务收入状况、营业外收入状况等成本可以拆解为：
2021-03-15 18:33:59
1425
2
原创 数据分析 --- 收集数据的原则
一、 数据必须真实一份真实的数据可以带来以下收获：定位用户需求通过问卷调查、抽样调查获取的数据是有限的，并且有时也不能够保证真实性，因此可以通过技术手段对网站进行埋点，获得用户的行为模式，购买记录、搜索习惯等这些都是用户自己产生的，可以保证数据的真实性，从而定位用户的真实需求。帮助企业获得广告收益通过真实数据，分析目标客户，将广告在合适的时间点投放到恰当的客户的屏幕前，从而加强广告的转化率和传播率及时发现自身的不足之处通过真实的数据可以看到企业在哪个方面做的不够好，从而计师调整
2021-03-15 16:36:43
2399
原创 数据分析 --- 如何收集数据
一、收集数据过程中常见的问题拿到一堆数据不知道怎样分析解决思路：可以从数据使用者的角度出发，得到数据分析的切入点。二、 收集数据之前应当明确的问题：1.为什么要做这项数据分析要明确分析的是哪方面的数据，客户想了解的是哪方面的数据。如客户想知道商品的定价是否合理，就应收集本公司的商品价格数据，同时也要收集同行业其他公司的价格数据以及相关行业的价格数据，对客户进行调查，以确定商品定价是否在合理范围内。2.数据从哪里来应当在收集数据之前考虑采用什么样的途径收集数据，才能使收集的数据全面、准确应当
2021-03-14 18:03:43
2686
原创 SQL --- 联表查询
概念同时查询多张表的信息，或将多张表的信息集中起来，可以一次性通过结果的集合的方式进行浏览前提表与表之间能够存在相同的信息横向合并不对字段进行限制，其查询结果是多张表横向拼接例：有两张表，分别为工作信息表（workinfo）、城市信息表（cityinfo）,第一张表的工作地点列和城市名称列数据相同，查询第一张表的公司名称、工作岗位、工作地点、城市名称、城市等级SELECT 公司名称,工作岗位,工作地点,城市名称,城市等级 FROM workinfo,cityinfo WHE..
2021-03-13 22:43:23
300
原创 SQL --- 对数据进行分类汇总
GROUP BY例如：对商品销售数据进行分类汇总：SELECT 商品名 ,COUNT(销售量）FROM 表名 GROUP BY 商品名；注意：SELECT 和 GROUP BY 后面的列名是相同的。这个语句的执行顺序为：FROM->WHERE->GROUP BY->SELECT对分类汇总结果进行重命名并排序SELECT 列名 ，COUNT（列名） AS 自定义列名 FROM 表名 GROUP BY 列名 ORDER BY 自定义名称；例：对销售数据进行分类汇总并.
2021-03-13 22:13:54
8557
原创 SQL ---使用函数计算数据
计次1.去重：SELECT COUNT(DISTINCT 列名) FROM 表名；2.不去重：SELECT COUNT (列名) FROM 表名；例如统计商品数（去重）SELECT COUNT ( DISTINCT 商品数量) FROM 表名；文本函数提取： SUBSTR(列名，开始位置，提取的位数)SELECT SUBSTR(列名，开始位置，提取的位数) FROM 表名例：提取日期19990629中的年份1999SELECT SUBSTR(date，1，4) FROM 表名；替..
2021-03-13 21:08:03
584
原创 SQL --- 数据的筛选与排序
模糊查询SELECT * FROM 表名 WHERE 列名 like ‘%字段%’;例如：查询姓马的同志SELECT * FROM 表名 WHERE 列名 like ‘马%’;例如：查询名为冬梅的同志SELECT * FROM 表名 WHERE 列名 like ‘%冬梅’;多目标查询SELECT * FROM 表名 WHERE 列名 IN (字段1，字段2，…)例如：查询姓名为张三和李四的数据SELECT * FROM 表名 WHERE 列名 IN (‘张三’,‘李四’)；排..
2021-03-13 17:48:58
1084
原创 SQL基本语法
提取表中的所有数据SELECT * FROM 表名;提取表中某列数据SELECT 列名,列名 FROM 表名;提取表中某个特定数据SELECT * FROM 表明 WHERE 列名=字段;删除数据DELETE FROM 表名 WHERE 列名=字段;更新数据UPDATE 表明 SET 列名=字段 WHERE 列名=字段;插入数据INSERT INTO 表名 VALUES(‘列名1对应字段’,‘列名2对应字段’,…);...
2021-03-13 16:43:05
89
原创 在系统为CentOS7的腾讯云服务器部署flask项目
一、MySQL安装、python环境搭建推荐看这篇博客：https://blog.csdn.net/lihengss/article/details/89456715二、上传代码到服务器可以使用IIS7将本地代码上传链接：IIS7也可以先将代码上传到git，再将git中的代码下载到服务器将本地代码上传到git：如何将本地代码上传到git1.在服务器安装git：sudo yum install git2.将git的代码下载到服务器：（首先需要创建项目目录，将代码放在项目目录里）git cl
2021-03-12 17:22:46
295
原创 数据分析 --- 如何确定使用什么类型的图表
一、普遍的思路明确要解决的问题，确定数据分析目标。提炼数据，确定数据分析的指标，对数据进行预处理选择合适的图表类型二、一个例子以分析数据分析岗位的人才需求为例第一步 根据招聘数据，明确分析目标在拿到招聘数据之后，可以从四个方面去考虑：（1）近几年的职位需求量（2）职位需求量是上升趋势还是下降趋势（3）数据分析岗位有哪些细分的职位（4）这个岗位需要哪些技能第二步 确定分析维度可以从三个方面去考虑：（1）宏观上：数据分析职位需求量。（2）外部需求：职位类型、需要掌握的技能
2021-03-07 22:46:06
457
原创 数据分析 --- 可视化图表
一、可视化的目的数据可视化，其目的在于检查异常数据，将数据转化为信息，显示某项活动的趋势，为查看数据背后的特殊现象提供有效的方法。二、常见的可视化工具Excel是最常用的可视化工具，操作简单，只需将图表插入到单元格中即可显示出来，并且还可以根据需要添加一些辅助项，使图表更加易懂。PowerBI / TableAU目前在市面上有很多同种类型的数据可视化工具，它们都有一些共同的特点：（1）上手快，可以支持多种数据源对数据进行导入；（2）可以在不改变原数据的情况下对数据进行预处理；（
2021-03-07 21:53:44
1253
原创 计算机二级------python语言程序设计6
一.组合数据类型1.集合类型基本概念（1）集合是包含0个或多个数据项的无序组合，集合用‘{}’表示，没有索引和位置的概念，集合中的元素可以动态增加和删除（2）集合中的元素不可重复，元素类型只能是不可变数据类型，例如整数，浮点数，字符串，元组等，列表、字典、集合类型都是可变数据类型，不能作为集合的元素（3）集合的输出顺序可以与定义顺序不一致（4）集合类型可以用来过滤掉重复元素（5）集合元...
2021-03-07 20:45:11
173
原创 计算机二级------Python语言程序设计7
一、文件的使用1、使用python打开一个二进制文本文件（1）先建立一个文本文档，命名为a.txt（2）在文档中写入一些话语（3）打开Pycharm（4）写入以下代码：f=open("a.txt","rb"）print(f.readline())f.close()可以看到，输出了二进制的文件2.文件的打开与关闭（1）python对文件的操作步骤是：“打开-关闭-操作”（2...
2021-03-07 20:43:05
246
原创 EXCEL基本功能 --- 数据透视表
一、数据透视表的作用数据透视表，可以通过对数据的处理，相关性分析，可快速进行数据分析汇总，为洞察结论做铺垫。二、数据透视表的操作以某品牌分店3月销售商品数据表为例，统计各商品及各分店的销售总额第一步首先任意选中一个有数据的单元格，点击菜单栏“插入”-“数据透视表”。此处的区域会自动选择，不需要修改，点击“确定”;如下图第二步将“商品”字段拖进“行区域”，“分店”字段拖动至“列区域”，“总金额”字段拖进“值区域”。此时可看到工作表已自动算出各商品及各分店的销售总额。其中
2021-03-07 20:39:36
8885
2
原创 EXCEL基本功能 --- 三种常用的查找与引用函数
一、查找与引用函数的作用可以使用查找与引用函数将列的值按字典表进行填充二、三种常用的查找与引用函数LOOKUP函数作用返回向量或数组中的数值。函数 LOOKUP 有两种语法形式：向量和数组。提示 ：LOOKUP矢量 的数值必须按升序排序：…、-2、-1、0、1、2、…、A-Z、FALSE、TRUE；否则，函数LOOKUP 不能返回正确的结果。文本不区分大小写。一、向量形式向量为只包含一行或一列的区域。函数 LOOKUP 的向量形式是在单行区域或单列区域（向量）中查找数值。然后返回第
2021-03-07 16:59:01
6634
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人