- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据分析项目 基于RFM的用户精细化管理（1）---- 数据预处理
一、 背景与目标背景这是一家网上商城近三年的销售数据，其希望针对不同类型的客户进行差异化营销，实现更加合理的资源分配，获取最大的客户转化。为了实现上述目的，我们将使用RFM模型进行分析。RFM模型是评价客户价值和客户消费潜力的重要手段，是CRM中的重要模型，通过交易环节中最核心的三个指标：最近消费、消费频率、消费金额进行分析，对用户进行细分，体现不同用户的价值。目标基于消费数据，利用K-Means聚类算法，找到合适的划分区间，利用RFM模型对客户进行分类，提出针对不同类别的客户的营销方案。
2021-03-25 16:43:07
890
原创 数据分析 --- 数据可视化需要注意的问题
一、可视化数据的思路明确分析结论将分析过程用文字表述将文字转化为图表检查、调整图表展示图表二、可视化的本质和好处本质：将分析的结论用简洁直白的方式展现出来，突出分析结论的重点，不应过分追求华丽。好处：使观看者对业务信息接受更快有利于沟通更好的连接运营与业务三、数据形象化指标值形象化对数据指标值用图形的方式展现，并进行视觉优化，如使用三维立体图形通过构建场景来表现前提是要把握数据之间的内在联系，如简单到复杂、从前到后等，可以使用阶梯式（如受教育的程度）、领奖台式
2021-03-23 21:10:02
2866
原创 numpy --- 数组的向量化
一、向量化的概念和好处向量化：使用NumPy数组的数组表达式完成多种数据操作任务，而无须写些大量循环。这种利用数组表达式来替代显式循环的方法，称为向量化向量化的好处：加快运行速度，向量化的数组操作会比纯Python的等价实现在速度上快一到两个数量级（甚至更多）二、一个例子对一些二维数据来计算函数sqrt（x^2 + y^2）的值。使用np.meshgrid函数接收两个一维数组，并根据两个数组的所有（x，y）对生成一个二维矩阵：import numpy as npimport matp
2021-03-22 22:02:22
957
原创 numpy --- 集合函数
一、集合函数的概念可以使用numpy数组实现数学上的集合运算的函数，叫做集合函数。二、常见的集合函数三、一些例子引入numpyimport numpy as npnp.unique 返回的是数组中唯一值排序后形成的数组import numpy as np# np.unique，返回的是数组中唯一值排序后形成的数组names =np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])print("*********
2021-03-22 21:34:59
339
原创 数据分析 --- 数据分析的误区
在数据分析的过程中，我们难免会走一些弯路，但有些弯路是可以避免的，下面我将介绍几个数据分析过程中常见的误区：一、 选取的样本容量有误我们一定都听说过二战中的一个经典示例：军方为了提高战斗机飞行员的生还率，打算在飞机上增加装甲的厚度，但不能在所有部位加厚，这样会丧失战机的灵活性，于是军方请了统计学家来研究，这些专家在一开始就只统计了战斗回来的战机，研究这些战机上的弹孔的分布，在弹孔比较密集的地方增厚装甲，但这并没有提高飞行员的生还率，后来有人想明白了这个问题，那就是应该研究没有回来的飞机，它们中弹的地方
2021-03-21 21:33:16
317
原创 numpy ---通用函数
一、概念与作用概念：通用函数，也可以称为ufunc，是一种在ndarray数据中进行逐元素操作的函数。作用：某些简单函数接收一个或多个标量数值，并产生一个或多个标量结果，而通用函数就是对这些简单函数的向量化封装有很多ufunc是简单的逐元素转换，比如sqrt或exp函数：二、常见的通用函数三、一些例子引入numpyimport numpy as npnp.sqrt() 对数组中的元素进行开平方arr= np.arange(10) # 创建一个数组print("原数
2021-03-20 21:30:57
395
原创 数据分析 --- 如何分析数据
数据分析常用分析方法基本分析法基本思想：从宏观角度对企业的发展概况进行预估三个部分：1.宏观因素分析分析本行业的行情，本行业各个企业的分布状况，以及各企业的经营模式，对行业的基本状况有所了解2.变动趋势分析分析这个行业的历史变动情况，最近的变动情况，以及各分布区域的变动情况，得到此行业的变动趋势，把握未来3.变动原因分析产销情况对比，国内外现状对比，同行业不同企业情况对比对引起变动的相关因素和可能相关因素进行分析，得到这个行业的变动原因，在此基础上，对企业的下一步计划进行调整高级
2021-03-20 21:00:11
273
原创 numpy ---数组的多维索引
一、用途用于描述使用整数数组进行数据索引二、初始工作引入numpyimport numpy as np创建一个空数组import numpy as nparr=np.empty((8,4))for i in range(8): arr[i]=i结果[[0. 0. 0. 0.] [1. 1. 1. 1.] [2. 2. 2. 2.] [3. 3. 3. 3.] [4. 4. 4. 4.] [5. 5. 5. 5.] [6. 6. 6. 6.] [7. 7. 7.
2021-03-19 22:33:50
2982
原创 数据分析 --- 如何处理脏数据
一、脏数据种类：缺失数据：可以通过填充平均值、按比例填充随机数等方法处理，若有备份数据，直接将备份数据引入即可重复数据：去除重复部分即可错误数据：可以通过以下三种方式解决：1.通过对数据区间进行限定，排除明显异常的数据2.通过系统的内部逻辑结构查找不符合格式的数据3.通过建立匹配规则，匹配不统一的数据不可用数据：正确，但无法直接使用，可以通过文本函数将其进行拆分（如日期数据）二、脏数据的常规处理方法结构化需要对数据进行缩减，将其变为可测量、可分析的结构如将用户评论中的好、
2021-03-19 20:54:25
11155
原创 numpy ---数组的索引与切片（2）
壹、二维数组引入numpy模块，并定义一个二维数组arr1import numpy as nparr1= np.array([[1,2,3],[4,5,6],[7,8,9]])arr[:x] 获取二维数组的前x行数据例：获取数组arr1的前两行数据print("原数据：",arr1)print("切片数据：",arr1[:2])结果原数据： [[1 2 3] [4 5 6] [7 8 9]]切片数据： [[1 2 3] [4 5 6]]arr[x,:y] 获取数组
2021-03-18 21:31:34
601
原创 numpy ---数组的索引与切片（1）
一、一维数组定义一个原始数组import numpy as nparr1=np.arange(1,11)print("原始数据：",arr1)结果原始数据： [ 1 2 3 4 5 6 7 8 9 10]arr[x] 获取第x个数据print("切片数据：",arr1[0]) # 获取数组第一个位置的数字结果原始数据： [ 1 2 3 4 5 6 7 8 9 10]切片数据： 1arr[:] 获取全部数据print("切片数据：",
2021-03-17 22:50:54
262
原创 numpy --- 数组的数据类型
一、数据类型数据类型，即dytpe，是一个特殊的对象，它包含了ndarray需要为某一种类型数据所申明的内存块信息。二、numpy中的数据类型三、一些示例引入numpyimport numpy as np- 将整数类型转换为浮点数类型定义一个整数类型数组arr1= np.array([1,2,3,4,5,6])print("-------------------")print(arr1)print(arr1.dtype)转换为浮点数类型arr2= arr1.astype(np
2021-03-17 21:55:25
4492
2
原创 numpy --- 数组生成函数
注意：以下所有实例需要事先引入numpyimport numpy as nprandom.randn 函数作用：生成一个指定行列数的随机数组例：生成一个2行3列的随机数组data=np.random.randn(2,3) # 生成2行3列随机数组print(data)结果[[ 0.40444093 -0.06987251 0.00759544] [ 1.22969751 0.39730171 1.42576693]]shape函数作用： 查看数组形状例：查看dat
2021-03-16 21:06:35
1036
原创 数据分析 --- 收集数据的技巧
一、要充分理解收集数据的目的在进行数据法分析之前，一定要明确要对什么进行数据分析，为什么要数据分析，怎样分析，这是一切分析工作的源头。可以使用的方法：逻辑树逻辑树的主要思想：将问题分层罗列，对问题进行分层，逐步向下扩展。逻辑树的原则需要将相关问题归结为一类问题需要将各要素归结为一个完整框架，不能有重复或遗漏之处各要素之间应当有一定的联系，不能出现孤立要素例：问题：提升利润增速可以拆解为三个方面的问题：收入、成本、价格收入可以拆解为：主营业务收入状况、营业外收入状况等成本可以拆解为：
2021-03-15 18:33:59
1463
2
原创 数据分析 --- 收集数据的原则
一、 数据必须真实一份真实的数据可以带来以下收获：定位用户需求通过问卷调查、抽样调查获取的数据是有限的，并且有时也不能够保证真实性，因此可以通过技术手段对网站进行埋点，获得用户的行为模式，购买记录、搜索习惯等这些都是用户自己产生的，可以保证数据的真实性，从而定位用户的真实需求。帮助企业获得广告收益通过真实数据，分析目标客户，将广告在合适的时间点投放到恰当的客户的屏幕前，从而加强广告的转化率和传播率及时发现自身的不足之处通过真实的数据可以看到企业在哪个方面做的不够好，从而计师调整
2021-03-15 16:36:43
2416
原创 数据分析 --- 如何收集数据
一、收集数据过程中常见的问题拿到一堆数据不知道怎样分析解决思路：可以从数据使用者的角度出发，得到数据分析的切入点。二、 收集数据之前应当明确的问题：1.为什么要做这项数据分析要明确分析的是哪方面的数据，客户想了解的是哪方面的数据。如客户想知道商品的定价是否合理，就应收集本公司的商品价格数据，同时也要收集同行业其他公司的价格数据以及相关行业的价格数据，对客户进行调查，以确定商品定价是否在合理范围内。2.数据从哪里来应当在收集数据之前考虑采用什么样的途径收集数据，才能使收集的数据全面、准确应当
2021-03-14 18:03:43
2761
原创 SQL --- 联表查询
概念同时查询多张表的信息，或将多张表的信息集中起来，可以一次性通过结果的集合的方式进行浏览前提表与表之间能够存在相同的信息横向合并不对字段进行限制，其查询结果是多张表横向拼接例：有两张表，分别为工作信息表（workinfo）、城市信息表（cityinfo）,第一张表的工作地点列和城市名称列数据相同，查询第一张表的公司名称、工作岗位、工作地点、城市名称、城市等级SELECT 公司名称,工作岗位,工作地点,城市名称,城市等级 FROM workinfo,cityinfo WHE..
2021-03-13 22:43:23
312
原创 SQL --- 对数据进行分类汇总
GROUP BY例如：对商品销售数据进行分类汇总：SELECT 商品名 ,COUNT(销售量）FROM 表名 GROUP BY 商品名；注意：SELECT 和 GROUP BY 后面的列名是相同的。这个语句的执行顺序为：FROM->WHERE->GROUP BY->SELECT对分类汇总结果进行重命名并排序SELECT 列名 ，COUNT（列名） AS 自定义列名 FROM 表名 GROUP BY 列名 ORDER BY 自定义名称；例：对销售数据进行分类汇总并.
2021-03-13 22:13:54
8795
原创 SQL ---使用函数计算数据
计次1.去重：SELECT COUNT(DISTINCT 列名) FROM 表名；2.不去重：SELECT COUNT (列名) FROM 表名；例如统计商品数（去重）SELECT COUNT ( DISTINCT 商品数量) FROM 表名；文本函数提取： SUBSTR(列名，开始位置，提取的位数)SELECT SUBSTR(列名，开始位置，提取的位数) FROM 表名例：提取日期19990629中的年份1999SELECT SUBSTR(date，1，4) FROM 表名；替..
2021-03-13 21:08:03
626
原创 SQL --- 数据的筛选与排序
模糊查询SELECT * FROM 表名 WHERE 列名 like ‘%字段%’;例如：查询姓马的同志SELECT * FROM 表名 WHERE 列名 like ‘马%’;例如：查询名为冬梅的同志SELECT * FROM 表名 WHERE 列名 like ‘%冬梅’;多目标查询SELECT * FROM 表名 WHERE 列名 IN (字段1，字段2，…)例如：查询姓名为张三和李四的数据SELECT * FROM 表名 WHERE 列名 IN (‘张三’,‘李四’)；排..
2021-03-13 17:48:58
1100
原创 SQL基本语法
提取表中的所有数据SELECT * FROM 表名;提取表中某列数据SELECT 列名,列名 FROM 表名;提取表中某个特定数据SELECT * FROM 表明 WHERE 列名=字段;删除数据DELETE FROM 表名 WHERE 列名=字段;更新数据UPDATE 表明 SET 列名=字段 WHERE 列名=字段;插入数据INSERT INTO 表名 VALUES(‘列名1对应字段’,‘列名2对应字段’,…);...
2021-03-13 16:43:05
93
原创 在系统为CentOS7的腾讯云服务器部署flask项目
一、MySQL安装、python环境搭建推荐看这篇博客：https://blog.csdn.net/lihengss/article/details/89456715二、上传代码到服务器可以使用IIS7将本地代码上传链接：IIS7也可以先将代码上传到git，再将git中的代码下载到服务器将本地代码上传到git：如何将本地代码上传到git1.在服务器安装git：sudo yum install git2.将git的代码下载到服务器：（首先需要创建项目目录，将代码放在项目目录里）git cl
2021-03-12 17:22:46
306
原创 数据分析 --- 如何确定使用什么类型的图表
一、普遍的思路明确要解决的问题，确定数据分析目标。提炼数据，确定数据分析的指标，对数据进行预处理选择合适的图表类型二、一个例子以分析数据分析岗位的人才需求为例第一步 根据招聘数据，明确分析目标在拿到招聘数据之后，可以从四个方面去考虑：（1）近几年的职位需求量（2）职位需求量是上升趋势还是下降趋势（3）数据分析岗位有哪些细分的职位（4）这个岗位需要哪些技能第二步 确定分析维度可以从三个方面去考虑：（1）宏观上：数据分析职位需求量。（2）外部需求：职位类型、需要掌握的技能
2021-03-07 22:46:06
489
原创 数据分析 --- 可视化图表
一、可视化的目的数据可视化，其目的在于检查异常数据，将数据转化为信息，显示某项活动的趋势，为查看数据背后的特殊现象提供有效的方法。二、常见的可视化工具Excel是最常用的可视化工具，操作简单，只需将图表插入到单元格中即可显示出来，并且还可以根据需要添加一些辅助项，使图表更加易懂。PowerBI / TableAU目前在市面上有很多同种类型的数据可视化工具，它们都有一些共同的特点：（1）上手快，可以支持多种数据源对数据进行导入；（2）可以在不改变原数据的情况下对数据进行预处理；（
2021-03-07 21:53:44
1307
原创 计算机二级------python语言程序设计6
一.组合数据类型1.集合类型基本概念（1）集合是包含0个或多个数据项的无序组合，集合用‘{}’表示，没有索引和位置的概念，集合中的元素可以动态增加和删除（2）集合中的元素不可重复，元素类型只能是不可变数据类型，例如整数，浮点数，字符串，元组等，列表、字典、集合类型都是可变数据类型，不能作为集合的元素（3）集合的输出顺序可以与定义顺序不一致（4）集合类型可以用来过滤掉重复元素（5）集合元...
2021-03-07 20:45:11
184
原创 计算机二级------Python语言程序设计7
一、文件的使用1、使用python打开一个二进制文本文件（1）先建立一个文本文档，命名为a.txt（2）在文档中写入一些话语（3）打开Pycharm（4）写入以下代码：f=open("a.txt","rb"）print(f.readline())f.close()可以看到，输出了二进制的文件2.文件的打开与关闭（1）python对文件的操作步骤是：“打开-关闭-操作”（2...
2021-03-07 20:43:05
280
原创 EXCEL基本功能 --- 数据透视表
一、数据透视表的作用数据透视表，可以通过对数据的处理，相关性分析，可快速进行数据分析汇总，为洞察结论做铺垫。二、数据透视表的操作以某品牌分店3月销售商品数据表为例，统计各商品及各分店的销售总额第一步首先任意选中一个有数据的单元格，点击菜单栏“插入”-“数据透视表”。此处的区域会自动选择，不需要修改，点击“确定”;如下图第二步将“商品”字段拖进“行区域”，“分店”字段拖动至“列区域”，“总金额”字段拖进“值区域”。此时可看到工作表已自动算出各商品及各分店的销售总额。其中
2021-03-07 20:39:36
8977
2
原创 EXCEL基本功能 --- 三种常用的查找与引用函数
一、查找与引用函数的作用可以使用查找与引用函数将列的值按字典表进行填充二、三种常用的查找与引用函数LOOKUP函数作用返回向量或数组中的数值。函数 LOOKUP 有两种语法形式：向量和数组。提示 ：LOOKUP矢量 的数值必须按升序排序：…、-2、-1、0、1、2、…、A-Z、FALSE、TRUE；否则，函数LOOKUP 不能返回正确的结果。文本不区分大小写。一、向量形式向量为只包含一行或一列的区域。函数 LOOKUP 的向量形式是在单行区域或单列区域（向量）中查找数值。然后返回第
2021-03-07 16:59:01
6758
原创 Excel基本功能 --- 条件聚合函数
一、定义条件聚合函数就是对符合特定条件的数据项进行统计。如对冬装进行统计，首先需要在表格中有衣服类别列，以标识衣服是冬装还是夏装；其次需要有数量列，以便于计算冬装有多少件；最后，需要新增一列，使用函数进行条件聚合，计算出冬装或其他类型服装的数量，这就是条件聚合函数的作用。二、聚合函数的类型SUMIF函数作用根据指定条件对若干单元格求和。语法SUMIF（range,criteria,sum_range）Range 为用于条件判断的单元格区域。Criteria 为确定哪些单元格将被相
2021-03-07 13:23:06
8722
原创 EXCEL基本功能 --- 逻辑函数
一、逻辑函数的定义就是根据条件，能明确的用True 或 False 这两种值，来表示数据值是否符合条件的函数。二、 逻辑值的运算包括以下三种：与运算可以使用AND或&表示，就是判断两个数据是否存在交集，当两个数据都符合条件时返回True，有一个数据不符合条件返回False。或运算可以使用OR或 || 表示，判断两个数据中是否有符合条件的数据，当两个数据都符合条件时返回True，有一个数据符合条件返回True。非运算可以使用NOT 或 ！表示，非运算就是取反，当条件为真时
2021-03-06 23:05:25
1252
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人