- 博客(7)
- 收藏
- 关注
RSS订阅原创 基于hive的大数据量的优化处理实例
最近在做一个项目时遇到一个问题，是关于大数据量的数据，具体为一个800亿的轻度汇总数据，去关联一个7亿左右的另一个轻度汇总数据。主要遇到的问题有：1，800亿的轻度汇总数据读写困难，耗费时间、资源大；2，两表进行关联处理数据计算慢。背景：（完全假设来说）A表是以用户、城市维度的出现次数数据，字段主要有uid、city_id，cntB表是以用户、城市维度的出现次数标准数据，字段主要有ui...
2019-07-23 20:39:58
3842
1
翻译 基于Flink的流数据处理架构
随着数据量越来越来，越来越被人们所应用，数据也越来越被重视，离线数据处理已经远远不能满足业务上的一些需求，而基于流的数据处理将成为整个数据架构的核心，本文主要基于Flink介绍一下流处理的架构以及在数据处理中所扮演的重要角色。本文首先介绍一下传统架构和流处理结构的异同之处：传统的数据处理架构是采用一个中心化的数据库系统，主要用于存储事务性数据，这些数据反映了当前的业务状态。需要新鲜的数据的应用...
2019-07-21 21:51:08
552
原创 python实现K-Means聚类算法
常用的聚类分析算法有：K-Means：K-均值聚类也称为快速聚类法，在最小化误差函数的基础上将数据划分为预定的类数K。K-中心点：K-均值算法对于孤立点的敏感性，K-中心点算法不采用簇中对象的平均值作为簇中心，而选中簇中离平均值最近的对象作为簇中心。系统聚类：系统聚类也称为多层次聚类，分类的单位由高到低呈树形结构，所处的位置越低，其所包含的对象就越少，但这些对象间的共同特征越多。该聚类...
2019-07-09 21:35:00
686
原创 数据分类预测之python决策树
决策树是一种树状结构，它的每一个叶节点对应着一个分类，非叶节点对应着在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。对于非纯的叶节点，多数类的标号给出到达这个节点的样本所属的类。构造决策树的核心问题是在每一步如何选择适当的属性对样本做拆分。对一个分类问题，从已知类标记的训练样本中学习并构造出决策树是一个自上而下，分而治之的过程决策树方法在分类、预测、规则提取等领域有着广泛应...
2019-07-08 22:12:20
343
原创 数据挖掘建模之python进行Logistic回归分析
回归分析是通过建立模型来研究变量之间相互关系的密切程度、结构状态及进行模型预测的一种有效工具。按照研究方法划分，回归分析研究的范围大致如下：本文简述几个主要的回归模型：线性回归：适用于因变量和自变量是线性关系，对自变量和因变量之间的线性关系进行建模，可以用最小二乘法求解模型系数非线性回归：适用于因变量和自变量不是线性关系，如果非线性关系可以通过简单的函数变换转化成线性关系，用线性回归的...
2019-07-07 19:54:48
1325
原创 数据处理-利用 python进行异常值分析
异常值分析是检验数据是否有录入错误数据和不合常理的数据。不加剔除的把异常值代入数据分析过程中，会对结果产生不良影响，而对异常值的分析其原因，常常成为为发现问题的而改进决策的契机。异常值是指样本中的个别值，其数值明显偏离其余的数据。异常值通常也称为离群点，所以异常值分析也叫做离群点分析。异常值分析通常有以下几种：（1）简单统计量分析最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超...
2019-07-06 14:17:18
6150
1
转载 数据清洗-利用python进行缺失值处理
数据清洗-利用python进行缺失值处理处理缺失值的方法有3种：删除、不处理、数据插补。而数据插补主要有5种：1）利用均值、中位数、众数插补2）使用固定值进行插补3）最近临插补4）回归方法5）插值法而主要的插值法分为牛顿插值法、拉格朗日插值法、Hermite插值、分段插值、样条插值法等。本文主要介绍拉格朗日插值法：对数学好的可以看一下拉格朗日插值法的数学公式，不感兴趣的直接略过...
2019-07-02 22:49:35
1952
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人