- 博客(9)
- 收藏
- 关注
RSS订阅原创 Hbase 常用 shell 操作：增删改查(create、put、delete、scan)
Hbase 常用 shell 操作：增删改查(create、scan、put、get)
2022-03-22 23:26:59
13060
原创 数据倾斜解决方案汇总
数据倾斜解决方案汇总如何解决数据倾斜问题背景1、事前对连接 key 进行预处理2、大表关联小表，一般用 mapjoin3、倾斜数据分而治之4、倾斜数据打散处理总结如何解决数据倾斜问题背景分布式环境下经常会碰到数据倾斜的问题，因为实际业务中的数据很难均匀分布，有些数据中会存在大量重复的 key ，例如某个 ID 的用户活跃行为特别频繁，某个时间段系统在线的用户人数特别多等等。在具体任务中，导致数据倾斜的操作主要是发生在 group by、join 等需要数据shuffle的操作中，这些过程需要根据 k
2021-05-07 01:21:16
2534
原创 Hive SQL 企业级优化技巧
Hive SQL 企业级优化技巧Hive SQL 企业级优化技巧技巧 1：活用 group by技巧 2：巧用 cube 函数技巧 3：利用 lateral view 对字段采用行转列处理技巧 4：表连接优化与中间表的应用技巧 5：如何解决数据倾斜Hive SQL 企业级优化技巧本文是笔者在日常完成 Hive SQL 业务需求中，总结出一些 HQL 优化技巧，希望能给各位提供一些帮助与启发，文章如有运用不妥之处，敬请谅解。关于数据倾斜的优化技巧，因为篇幅有限，只会先简要提供解决思路，后边也会更新辅以实
2021-05-06 00:04:04
253
原创 tableau高级图形的应用及可视化实现方法
tableau高级图形的应用及可视化实现方法学习目标一、图表1、各销售指标热力变化图2、各销售指标变化数据条3、各地区分品类绩效考核表4、销售日历二、桑吉图各地区产品流向桑吉图三、留存结构图四、地图可视化图1、全国各省销售分布2、全国各省利润分布3、各地区交易额分布柱状图4、各城市客户分布热力图学习目标1、掌握tableau各作图功能区和对应的操作实现。2、掌握各类可视化图形的特征和信息展示方式。3、掌握tableau中各类图形可视化实现的基本流程。4、了解各图形工作中的应用案例。一、图表
2020-05-19 19:04:47
3429
2
原创 tableau基础图形可视化实现及相关电商案例应用
tableau基础图形可视化实现及相关电商案例应用一、电商案例分析1、背景信息2、任务说明3、数据集描述二、柱状图与条形图使用要点1、各地区销售概览条形图2、各地区销售与利润分布图3、各地区细分客户利润占比图4、整体呈现效果图三、折线图与面积图使用要点1、根据需求增加分析指标字段2、各状态下订单增长趋势图3、各装运状态下订单分布趋势4、各装运状态下订单占比趋势5、各装运状态下订单概览补充6、整体效果呈现图四、饼图与环形图使用要点1、各地区销售额分布2、各地区订单分布3、各省销售订单与细分类分布4、整体效果呈
2020-05-14 23:18:03
2113
5
原创 MySQL基础及需要注意的问题
MySQL基础及需要注意的问题一、MySQL语法1、如何查看一个已经建好表的表结构或表创建语句？2、char和varchar有什么区别，varchar(255)和varchar(256)有什么区别 ？char和varchar的区别varchar(255)和varchar(256)的区别3、text和blob有什么区别？4、使用LIKE关键字时'%'和'_'有什么作用？5、delete、 drop、...
2020-04-17 00:07:44
501
原创 运用逻辑回归进行二分类及多分类
逻辑回归知识要点一、逻辑回归模型模型简介：算法的分类思想算法模型sigmoid函数函数原型sigmoid函数图像参数求解二、逻辑回归实现二分类模型训练与预测结果可视化计算概率值绘制决策边界三、逻辑回归实现多分类建模与可视化多分类实现细节（扩展）目标：能够清晰理解逻辑回归模型的原理。掌握sigmooid函数的作用能够使用逻辑回归模型实现二分类以及多分类任务知识要点一、逻辑回归模型模...
2020-04-16 19:30:11
13017
2
原创 城市空气质量分析与预测
城市空气质量分析与检测一、AQI分析与预测1、背景信息2、任务说明3、数据集描述二、数据分析流程基本流程三、读取数据1、导入相关的库2、加载数据集一、AQI分析与预测1、背景信息AQI指的是空气质量指数，用来衡量一个城市的空气清洁或污染的程度，数值越小则空气质量越好。近年来，空气污染问题备受关注，现收集不同城市的数据，运用数据分析的方法来对不同城市的空气质量进行分析与预测。2、任务说明我...
2020-04-13 16:31:38
13377
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人