- 博客(12)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 boostrapTable 服务器端分页相关注意事项
今天在用 php 做boostrapTable 服务器端分页时，发现了一些容易出问题的地方，记录一下错误以及改正方法。
2023-04-08 16:26:19
96
原创 # 在线教育项目——数仓实战（三）之访问咨询主题看板（全量流程）
访问咨询主题看板的全量流程，涉及需求分析、业务数据准备、建模分析、建模操作、Hive的基础优化、数据采集、数据清洗转换、数据分析、利用sqoop进行数据导出
2023-03-14 10:50:56
604
2
原创 在线教育项目——数仓实战（二）
如果数据来源于文本文件, 可能会需要先对这些文本文件进行预处理(spark)操作, 将其中不规则的数据, 不完整的数据, 脏乱差的数据先过滤掉, 将其转换为一份结构化的数据, 然后灌入到ODS层。Oozie来源于apache, 出现时间较早一款工作流调度工具
2023-01-11 20:13:38
814
原创 在线教育项目——数仓实战（一）
基于cloudera manager大数据统一管理平台, 在此平台之上构建大数据相关的软件(zookeeper,HDFS,YARN,HIVE,OOZIE,SQOOP,HUE…), 除此以外, 还使用FineBI实现数据报表展示
2023-01-09 19:34:23
1320
原创 Hive综合实例——陌陌聊天数据分析
Hive综合实例——陌陌聊天数据分析，配置数据源及数据准备FineBI与Hive集成的官方文档:https://help.fanruan.com/finebi/doc-view-301.html驱动配置 问题：如果使用FineBI连接Hive，读取Hive的数据表，需要在FineBI中添加Hive的驱动jar包 解决：将**Hive的驱动jar包**放入FineBI的lib（==webapps\webroot\WEB-INF\lib==）目录下
2022-12-26 17:07:25
1056
原创 Hadoop3.x ——Hive安装部署
Hive是一款基于Hadoop的数据仓库软件，不管使用何种方式配置Hive Metastore，必须先保证服务器的基础环境正常，Hadoop集群健康可用。node1安装即可，因为Hive虽然不是分布式的软件，却具有分布式能力（借助Hadoop和其他分布式计算引擎）。由于Hive需要把数据存储在HDFS上，并且通过MapReduce作为执行引擎处理数据。因此需要在Hadoop中添加相关配置属性，以满足Hive在Hadoop上运行。
2022-12-25 11:36:49
485
原创 Hadoop3.x安装部署——基础环境配置
Hadoop安装部署——基础环境配置，编辑配置文件、设置三台虚拟机处于同一个集群、启动Hadoop集群等操作
2022-12-18 21:06:04
287
原创 戴师兄数据分析学习day03——周报制作
本次周报主要是对数据中本周以及上周的业务数据做一个可视化数据展示，主要有周累计、周环比、结果指标、过程指标几个大块；可以通过切换不同平台，查看不同平台间的数据情况；也就是具体数据可以随着平台的切换而变化，实现数据的联动。
2022-10-16 22:20:46
1248
scrapy shell中view出来的网页和输进去的网址不同
2021-05-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人