![](https://img-blog.csdnimg.cn/e38fa2cf047f48269429a446fed31542.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 80
Hadoop
爱吃薄荷糖的喵喵
这个作者很懒,什么都没留下…
展开
-
# 在线教育项目——数仓实战(三)之访问咨询主题看板(全量流程)
访问咨询主题看板的全量流程,涉及需求分析、业务数据准备、建模分析、建模操作、Hive的基础优化、数据采集、数据清洗转换、数据分析、利用sqoop进行数据导出原创 2023-03-14 10:50:56 · 585 阅读 · 2 评论 -
在线教育项目——数仓实战(二)
如果数据来源于文本文件, 可能会需要先对这些文本文件进行预处理(spark)操作, 将其中不规则的数据, 不完整的数据, 脏乱差的数据先过滤掉, 将其转换为一份结构化的数据, 然后灌入到ODS层。Oozie来源于apache, 出现时间较早一款工作流调度工具原创 2023-01-11 20:13:38 · 800 阅读 · 0 评论 -
在线教育项目——数仓实战(一)
基于cloudera manager大数据统一管理平台, 在此平台之上构建大数据相关的软件(zookeeper,HDFS,YARN,HIVE,OOZIE,SQOOP,HUE…), 除此以外, 还使用FineBI实现数据报表展示原创 2023-01-09 19:34:23 · 1302 阅读 · 0 评论 -
Hive综合实例——陌陌聊天数据分析
Hive综合实例——陌陌聊天数据分析,配置数据源及数据准备FineBI与Hive集成的官方文档:https://help.fanruan.com/finebi/doc-view-301.html驱动配置 问题:如果使用FineBI连接Hive,读取Hive的数据表,需要在FineBI中添加Hive的驱动jar包 解决:将**Hive的驱动jar包**放入FineBI的lib(==webapps\webroot\WEB-INF\lib==)目录下原创 2022-12-26 17:07:25 · 1001 阅读 · 0 评论 -
Hadoop3.x ——Hive安装部署
Hive是一款基于Hadoop的数据仓库软件,不管使用何种方式配置Hive Metastore,必须先保证服务器的基础环境正常,Hadoop集群健康可用。node1安装即可,因为Hive虽然不是分布式的软件,却具有分布式能力(借助Hadoop和其他分布式计算引擎)。由于Hive需要把数据存储在HDFS上,并且通过MapReduce作为执行引擎处理数据。因此需要在Hadoop中添加相关配置属性,以满足Hive在Hadoop上运行。原创 2022-12-25 11:36:49 · 479 阅读 · 0 评论 -
Hadoop3.x安装部署——基础环境配置
Hadoop安装部署——基础环境配置,编辑配置文件、设置三台虚拟机处于同一个集群、启动Hadoop集群等操作原创 2022-12-18 21:06:04 · 280 阅读 · 0 评论 -
导入虚拟机后的准备工作
导入虚拟机后的一系列操作原创 2022-12-18 09:57:34 · 76 阅读 · 0 评论