![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据研发
文章平均质量分 76
锵锵锵锵~蒋
小蒋,自己写的博客还能看懂吗>_<
展开
-
Hive 常见数据倾斜场景及解决方案(Map\Join\Reduce端)
Hive 中常见的数据倾斜场景及解决方法原创 2023-09-27 23:09:08 · 757 阅读 · 0 评论 -
【黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程
【黑马2023大数据实战教程】VMWare虚拟机部署HDFS集群详细过程:包括1.配置workers:2.配置hadoop-env.sh文件3.配置core-site.xml文件4.配置hdfs-site.xml文件准备数据目录分发Hadoop文件夹配置环境变量授权为hadoop用户格式化文件系统错误排查方法!!原创 2023-04-19 21:19:11 · 3053 阅读 · 1 评论 -
HDFS集群部署成功但网页无法打开如何解决(显示配置通过浏览器访问hdfs的端口)
HDFS集群部署成功(3台虚拟机)但是网页端无法打开,通过显示指定端口解决!!原创 2023-04-19 23:36:36 · 4995 阅读 · 1 评论 -
【黑马2023大数据实战教程】使用3台虚拟机搭建大数据集群详细步骤
2023新版黑马程序员大数据教程中的集群配置步骤记录原创 2023-04-17 21:54:45 · 1698 阅读 · 0 评论 -
操作HDFS文件系统常用命令(启停、创建、查看、上传、下载、追加、删除.etc)
操作HDFS文件系统常用的命令行原创 2023-04-22 10:15:02 · 1566 阅读 · 2 评论 -
窗口函数-分组排序:row_number()、rank() 、dense_rank()、ntile()
select ROW_NUMBER()over(order by name) as 排序,* from temp— 排序,即使值一样,也不会重复排序。例如1,2,3,4,5select RANK()over(order by name) as 排序,* from temp— 排序,值一样,就重复排序,有间隙。例如1,1,3,4select DENSE_RANK()over(order by name) as 排序,* from temp— 排序,值一样,就重复排序,没有间隙。原创 2023-09-04 16:22:11 · 894 阅读 · 0 评论 -
两表union 如何保证group by 字段唯一
当要计算的指标可能来源多个表时,可能会使用到union all把不同的表中计算的指标合起来。写法一:group by之后union all ,之后再次group by保证分组字段的唯一。Union:对两个结果集进行并集操作,不包括重复行,同时进行默认规则的排序;写法二:开始不分组,将查到的分组字段union all 之后group by。Union All:对两个结果集进行并集操作,包括重复行,不进行排序;另外,回顾union和union all的区别:union会自动。原创 2023-09-04 15:21:17 · 1429 阅读 · 0 评论 -
数仓中的维度、度量、指标、事实、属性几个概念如何区分?有何异同?
数仓中维度、指标、度量等概念的区分原创 2023-08-31 11:39:51 · 1550 阅读 · 0 评论 -
数仓数据建模中的概念总结(数据域、主题域、总线矩阵、指标...)
概念归纳业务分类:业务板块是某一大类业务的指标和维度的集合,如电商,文 娱。数据域:数据域是指一个或多个业务过程或者维度的集合,如交易域, 日志域。业务过程:业务过程指企业的业务活动事件,如下单,支付。数据集市:面向某个应用场景或者产品的数据组织,一般会依赖数据 公共层。主题域:将数据集市按照分析视角进行切分,比如在电商行业,通常分 为会员、交易、商品等。维度:维度是用于分析数据的一个角度,一方面对维度进行可控管理, 另一方面指导维度表的设计,如地理维度,时间维度。维度属性:维度属性隶属于一原创 2023-08-31 11:17:53 · 1301 阅读 · 1 评论 -
数仓建模之维度表&指标表
对数仓中的维度&指标进行解释原创 2023-08-31 10:57:24 · 652 阅读 · 0 评论 -
数仓中怎么做模型设计--关于分层建模(结合阿里OneData规范)
结合阿里OneData规范,对数仓的维度建模方法进行整理,关于分层建模的一些注意点。原创 2023-07-27 19:12:47 · 467 阅读 · 0 评论