自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 [敏捷开发实践] 端到端测试你了解多少?

端到端测试你了解多少? 端到端测试是一种软件测试方法,用于从开始到结束测试应用程序流。此测试的目的是模拟真实的用户场景,验证被测系统及其组件的集成和数据完整性。 它自始至终都是在实际场景下执行的,比如应用程序与硬件、网络、数据库和其他应用程序的通信。 执行此测试的主要原因是确定应用程序的各种...

2020-05-10 01:14:47 130 0

原创 [敏捷开发实践] 为什么开发人员不愿意写单元测试?

为什么开发人员不愿意写单元测试? 单元测试是专业开发人员确保真正完成编程任务的有效手段之一。但是实际开发中,绝大多数开发人员却非常抵触写单元测试,这又是很残酷的现实。开发人员有100个理由不写单元测试。我观察了超过20个项目的实际开发过程,与项目经理交谈,与开发者交谈后,也很理解在项目开发过程中...

2020-05-09 23:40:43 227 0

原创 [敏捷开发实践] 敏捷团队如何应对Product Owner不断变化的需求

敏捷团队如何应对Product Owner不断变化的需求 敏捷项目推进中,经常会遇到 Product Owner 提出新的需求事项,或者在原来的Product Backlog上扩充范围的情况。 ...

2020-05-07 22:16:09 91 0

原创 数据挖掘(Data Mining)和数据分析(Data Analysis)的对比

数据挖掘和数据分析 现在信息世界中,每天生成的数据量呈指数级增长。获取这些数据的过程并不复杂,因为可以使用的方法很多。然而,从这些数据中获取有意义的信息是非常复杂和耗时的。 收集的数据通常存储在数据仓库中,数据仓库是保存从各种来源收集的数据的地方。其中一些来源包括公司数据库、外部来源的数据和内...

2020-05-03 12:39:34 331 0

原创 统计学、统计学习和统计推断之间的关系

统计学、统计学习和统计推断之间的关系 什么是统计学? 百度百科的定义: 统计学是应用数学的一个分支,主要通过利用概率论建立数学模型,收集所观察系统的数据,进行量化的分析、总结,并进而进行推断和预测,为相关决策提供依据和参考。它被广泛的应用在各门学科之上,从物理和社会科学到人文科学,甚至被用来...

2020-05-03 12:21:27 339 0

原创 机器学习(Machine Learning)和传统的数据统计分析(Data Statistics)有什么区别?

机器学习(Machine Learning)和传统的数据统计(Data Statistics)有什么区别? 机器学习 强调预测 通过预测性能评估结果 关注过度拟合而不是模型本身的复杂性 注重表现 通过在新数据集上的性能获得可概括性 通常,没有指定超人口模型 对性能和健壮性的关注 传...

2020-05-03 11:50:17 332 0

原创 Data Science 到底是什么?

最近被问到了一个问题:Data Science是干什么的? 尽管一直在说Data Science,但是还真的没有深入的、认真的研究过它的起源。 Data Science,数据科学,一般的解释是: 数据科学仅是一种概念,它结合了统计学、数据分析、机器学习及其相关方法,旨在利用数据对实际现象进...

2020-05-02 18:27:22 222 0

原创 [统计学笔记] (十三)指数分析(2)

(十三)指数分析(2) 指数体系与因素分析 指数体系是指由三个或三个以上的具有内在联系的指数构成的有一定数量对等关系的整体。指数体系的形式不是随意的,而是由现象间客观存在的必然联系决定的。例如, 产品产值=产品产量×产品价格 商品销售额=商品销售量×商品价格 全员劳动生产率=生产成果×职...

2020-05-02 00:28:57 266 0

原创 [数据挖掘与预测分析] 单变量统计分析思考问题

单变量统计分析思考问题 1. 解释统计推理的含义 统计推理亦称“统计概括”。由样本具有某属性推出总体具有某属性的推理。 如为了解全国住户对电视机的需要量,就根据收入的多少等情况而把住户分成若干类(若干层次),从每类中再随机抽出一定数量的住户作为样本进行调查,将所得需求量的结果,应用统计学中的...

2020-04-26 15:35:11 197 0

原创 [统计学笔记] 参数估计和假设检验计算题精讲

参数估计和假设检验计算题精讲 习题1 设某产品的指标服从正态分布,它的标准差σ已知为150,今抽了一个容量为26的样本,计算得平均值为1637。问在5%的显著水平下,能否认为这批产品的指标的期望值μ为1600? 解答: 根据题意知:标准差,,,, 令::;:; 拒绝域为: 由检验统计...

2020-04-25 23:46:28 165 0

原创 [统计学笔记] (十三)指数分析(1)

(十三)指数分析 统计指数简称指数,有广义和狭义之分。广义地讲,任何两个数值对比形成的相对数都可以称为指数;狭义地讲,为了反映某一社会经济现象而产生的两组有关联的数值对比形成的相对数称为指数。 指数分析法是利用指数体系分析各影响因素变动对总指数的影响方向和程度,以及各因素对总指标的影响数额的一...

2020-04-24 00:37:44 285 0

原创 [统计学笔记] 方差分析表的解读

方差分析表的解读 方差分析表(analysis of variance table)是指为了便于进行数据分析和统计判断,按照方差分析的过程,将有关步骤的计算数据,例如差异来源、离差平方和、自由度、均方和F检验值等指标数值逐一列出,以方便检查和分析的统计分析表。 利用 Excel 中数据分析的功...

2020-04-23 23:19:50 590 0

原创 [统计学笔记] 必须要掌握的统计学基本概念和术语(更新中)

必须要掌握的统计学基本概念和术语 统计和处理数据是一门科学。统计学是收集、分析、表述和解释数据,并从数据中得出结论的科学。 要学好统计学必须掌握和理解下面的基本概念和术语: 分类数据 顺序数据 数值型数据 界面数据 时间序列数据 总体和样本 统计量 离散型变量和连续型变量 概...

2020-04-23 00:26:37 137 0

原创 [统计学笔记] 统计学中的相关关系和三大相关系数

统计学中的相关关系和三大相关系数 相关关系是一种非确定性的关系,相关系数是研究变量之间线性相关程度的量。 由于研究对象的不同,相关系数有如下几种定义方式。 简单相关系数:又叫相关系数或线性相关系数,一般用字母r 表示,用来度量两个变量间的线性关系。 复相关系数:又叫多重相关系数。复相关是指...

2020-04-22 21:50:24 853 0

原创 什么是抽样误差?

什么是抽样误差? 在抽样检查中,由于用样本指标代替全及指标所产生的误差可分为两种:一种是由于主观因素破坏了随机原则而产生的误差,称为系统性误差;另一种是由于抽样的随机性引起的偶然的代表性误差。抽样误差仅仅是指后一种由于抽样的随机性而带来的偶然的代表性误差,而不是指前一种因不遵循随机性原则而造成的...

2020-04-22 01:36:53 283 0

原创 什么是抽样平均误差?

什么是抽样平均误差? 抽样平均误差是抽样平均数(或抽样成数)的标准差,它反映抽样平均数(或抽样成数)与总体平均数(或总体成数)的平均差异程度。 由于从一个总体可能抽取多个样本,因此抽样指标(如平均数、抽样成数等),就有多个不同的数值,因而对全局指标(如总体平均数、总体成数等)的离差也就有大有小...

2020-04-22 01:00:35 142 0

原创 统计学中的标准差(SD)和 平均值的标准误差(SEM)的区别

统计学中的标准差(SD)和 平均值的标准误差(SEM)的区别 先来看一个解释: The standard deviation (SD) represents variation in the values of a variable, whereas the standard error of...

2020-04-22 00:28:10 1050 0

原创 什么是统计学中的 Standard Error ( SE )?

什么是统计学中的 Standard Error ( SE )? 我们来看一段英文解释:The standard deviation of a sampling distribution is called as standard error. In sampling, the three mos...

2020-04-22 00:18:12 723 0

原创 [统计学笔记] (十)一元线性回归

(十)一元线性回归

2020-04-18 10:40:44 500 0

原创 [统计学笔记] (十二)时间序列分析和预测

(十一)时间序列分析和预测 时间序列数据用于描述现象随时间发展变化的特征。 时间序列(times series)是同一现象在不同时间的相继观察值排列而形成的序列。经济数据大多数以时间序列的形式给出。 时间序列及其分解 时间序列可以分为平稳序列和非平稳序列两大类。 平稳序列是基本上不存在趋...

2020-04-18 00:18:40 1493 0

原创 [统计学笔记] 统计学计算题选讲(精华)

统计学计算题选讲 第1题 某班级学生物理课程考试成绩分别为: 68 89 88 84 86 87 75 73 72 68 75 82 97 58 81 54 79 76 95 76 71 60 90 65 76 72 76 85 89 92 ...

2020-04-13 22:35:47 370 0

原创 [统计学笔记] (八)分类数据分析

(八)分类数据分析 首先思考问题: 1. 为什么要对数据进行分类?如何对数据分类? 2. 数据分类后,如何对分类数据进行分析? 数据分类 分类变量的结果表现为类别,例如:性别 (男, 女) 各类别用符号或数字代码来测度 使用分类或顺序尺度 你吸烟吗? 1.是;2.否 你赞成还是...

2020-04-13 00:09:36 188 0

原创 [统计学笔记] (十四)概率与概率分布

概率与概率分布 概率是度量偶然事件发生可能性的数值。假如经过多次重复试验(用X代表),偶然事件(用A代表)出现了若干次(用Y代表)。以X作分母,Y作分子,形成了数值(用P代表)。在多次试验中,P相对稳定在某一数值上,P就称为A出现的概率。如偶然事件的概率是通过长期观察或大量重复试验来确定,则这种...

2020-04-12 19:35:49 158 0

原创 [统计学笔记] (七) 假设检验

一个问题 一个以减肥为主要目标的健美俱乐部声称,参加其训练班至少可以使减肥者平均体重减重8.5kg以上。为了验证该宣称是否可信,调查人员随机抽取了10名参加者,得到他们的体重记录如下表: 在 的显著性水平下,调查结果是否支持该俱乐部的声称? 我们怎么来回答这个问题呢? 考虑一下上面的表...

2020-04-12 01:25:09 345 0

原创 [统计学笔记] (六) 参数估计

参数估计 (Parameter Estimation) 人们常常需要根据手中的数据,分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断。它是统计推断的一种基本...

2020-04-11 22:44:51 488 0

原创 [统计学笔记](五)统计量及其抽样分布

抽样分布 抽样分布也称统计量分布、随机变量函数分布,是指样本估计量的分布。样本估计量是样本的一个函数,在统计学中称作统计量,因此抽样分布也是指统计量的分布。以样本平均数为例,它是总体平均数的一个估计量,如果按照相同的样本容量,相同的抽样方式,反复地抽取样本,每次可以计算一个平均数,所有可能样本的...

2020-04-11 12:14:58 654 0

原创 [统计学笔记] (四)数据分布的数字特征

数据集中趋势 在统计研究中,需要搜集大量数据并对其进行加工整理,大多数情况下数据都会呈现出一种钟形分布,即各个变量值与中间位置的距离越近,出现的次数越多;与中间位置距离越远,出现的次数越少,从而形成了一种以中间值为中心的集中趋势。这个集中趋势是现象共性的特征,也是现象规律性的数量表现。 根据统...

2020-04-10 22:35:08 440 0

原创 [机器学习笔记] 机器学习常见算法总结(更新中)

机器学习常见算法总结 机器学习常见算法 分类 小分类 算法 计算复杂性 解释性 缺失值影响 监督学习 Supervised Learning 回归 Regression 线性回归 ...

2020-04-08 23:40:49 154 0

原创 [数据分析学习笔记] 数据预处理

数据分析学习笔记 —— 数据预处理 数据预处理一方面是要提高数据的质量,另一方面是要让数据更好地适应特定的挖掘技术或工具。 数据预处理的主要内容包括:数据清洗、数据集成、数据变换和数据规约。 知识点总结如下图所示: 数据预处理的主要过程 数据清洗:主要是删除原始数据集中的无关数据、重...

2020-04-07 22:30:50 55 0

原创 [机器学习笔记] 机器学习知识要点汇总

机器学习知识要点汇总 1. 机器学习的常见分类和常用的算法有哪些? 将机器学习分为四种,分别是监督学习、无监督学习、半监督学习和增强学习。 (1)监督学习(Supervised Learning):是指每个进入算法的训练数据样本都有对应的期望值也就是目标值,进行机器学习的过程实际上就...

2020-04-06 22:45:11 130 0

原创 [数据分析学习笔记] 数据探索分析(EDA)需要了解的统计学基础

Exploratory Data Analysis(EDA) Exploratory Data Analysis(EDA)是指对已有数据在尽量少的先验假设下通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法,该方法在上世纪70年代由美国统计学家J.K.Tukey提出...

2020-04-05 22:36:44 383 0

原创 [机器学习笔记] 用Python分析:红葡萄酒质量分析(数据探索)

用Python分析:红葡萄酒质量分析(数据探索) 数据集:winemag-data_first150k.csv 先来导入数据 import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyp...

2020-04-05 03:10:08 648 1

原创 [机器学习笔记] 数据标准化方法

数据标准化方法 数据标准化 在数据分析之前,我们通常需要先将数据标准化(Normalization),利用标准化后的数据进行数据分析。数据标准化也就是统计数据的指数化。数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。 目前数据标准化方法有多种,归结起来可以分为直线型方法(如极值法...

2020-04-04 17:13:09 120 0

原创 ModuleNotFoundError: No module named 'graphviz' 的解决方法

ModuleNotFoundError: No module named 'graphviz' 的解决方法 在 Jupyter 中执行下面的代码时,报错,提示:ModuleNotFoundError: No module named 'graphviz' ...

2020-04-04 14:55:49 359 1

原创 [机器学习笔记] 用Python分析 TED演讲数据(更新中)

用Python分析 TED演讲数据 首先准备TED演讲数据集,TED演讲数据集和信息可以从下面的资源获得: https://www.datafountain.cn/datasets/11 该数据集包含2个文件: ted_main.csv 包含演讲主要信息,包括演讲标题,发言人,演讲内容,...

2020-04-03 15:34:42 185 0

原创 [机器学习笔记] (转载学习)完整机器学习项目的工作流程

完整机器学习项目的工作流程 博客原文:https://ask.julyedu.com/question/7013 1 抽象成数学问题 明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的。 这里的抽象成数学问题,指的我们明确我们可以获得什...

2020-04-02 00:45:02 59 0

原创 [机器学习笔记] 用Python进行航空公司客户价值分析笔记

用Python进行航空公司客户价值分析(数据分析) 学习资料: 图书:《Python数据分析与挖掘实战》(机械工业出版社)第7章 博文:https://blog.csdn.net/a857553315/article/details/79177524 目标 书中介绍了背景,要求根据背景通...

2020-04-01 23:31:48 141 0

原创 [机器学习笔记] Python数据分析:用户消费行为(持续更新)

Python数据分析:用户消费行为(持续更新) 红酒品鉴和用户消费行为分析是我学习Python数据分析入门的两个案例,记录一下。 网络上关于这两个案例的介绍非常多,但是我在学习过程中,发现有很多文章的逻辑不是很清晰,代码也调试不同。 所以,还是想把自己的调试代码写出来。 参考博文: ht...

2020-04-01 00:11:31 210 0

原创 [机器学习笔记] 常用的分类与预测算法

常用的分类与预测算法 算法名称 算法描述 回归分析 回归分析是确定预测属性(数值型)与其它变量间相互依赖的定量关系最常用的统计学方法。 包括:线性回归、非线性回归、Logistic回归、岭回归、主成分回归、偏最小二乘回归等模型。 决策树 决策树采...

2020-03-30 00:37:50 77 0

原创 [机器学习] Python代码来构建一颗决策树(Decision Tree)的案例

Python代码来构建一颗决策树(Decision Tree)的案例 用Python代码来构建一颗决策树(Decision) 工具 Python+Jupyter Graphviz 2.38 (Graphviz是一个开源的图形可视化软件) Graphviz的下载地址: http://www...

2020-03-29 22:17:12 120 0

提示
确定要删除当前文章?
取消 删除