![](https://img-blog.csdnimg.cn/6f7e3d4727b84b04af10ad5aa7df4ddb.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据体系
文章平均质量分 81
大数据体系
活在风浪里~
不去追逐,永远不会拥有。不往前走,永远原地停留。
展开
-
大数据平台安装
这里会展示安装部署操作的总结;点击"COMPLETE"完成所有安装动作。原创 2024-03-28 14:06:10 · 838 阅读 · 0 评论 -
实时数仓方实际落地如何选型和构建
*本文介绍了市面上常见实时数仓方案,并对不同方案的优缺点进行了介绍。在使用过程中我们需要根据自己的业务场景选择合适的架构。另外想说明的是实时数仓方案并不是“搬过来”,而是根据业务“演化来”的,具体设计的时候需要根据自身业务情况,找到最适合自己当下的实时数仓架构。**原创 2023-05-29 10:46:03 · 469 阅读 · 0 评论 -
k8s1.27.x 最新版本使用kubeadm 的containerd的方式安装
太平洋时间 2023 年 4 月 11 日,Kubernetes 1.27 正式发布。此版本距离上版本发布时隔 4 个月,是 2023 年的第一个版本。新版本中 release 团队跟踪了 60 个 enhancements,比之前版本都要多得多。其中 13 个功能升级为稳定版,29 个已有功能进行优化升级为 Beta,另有 18 个 Alpha 级别的功能,大多数为全新功能。操作系统:主机名: cat /etc/hosts----原创 2023-04-23 09:31:29 · 3425 阅读 · 2 评论 -
大数据平台datasophon 测试部署
DataSophon是近日开源的一款国产自研大数据管理平台,致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力,帮助你快速构建起稳定、高效的大数据集群服务。原创 2023-04-20 17:56:39 · 4179 阅读 · 0 评论 -
Superset安装及使用
Anaconda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同Python版本的软件包及其依赖,并能够在不同的Python环境之间切换,Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等,Miniconda包括Conda、Python。Anaconda3安装完成后,每次打开终端都会激活其默认的base环境,我们可通过以下命令,禁止激活默认base环境。我查阅了一堆资料,感觉这两个不对劲,就换了下版本,然后就初始化成功了!原创 2023-04-07 16:11:58 · 1692 阅读 · 0 评论 -
hive源数据通过sqoop数据集成工具导入到mysql报:ERROR tool.ExportTool: Error during export
除了hive表结构之外,我们再检查一下hive的数据,在hdfs/user/hive/warehouse/co中,可以在linux中hadoop fs -cat /user/hive/warehouse/co查看,为了方便我这里选择在windows中下载查看。在检查后我发现两个表结构是完全一致的,也有可能是hive的分隔符弄错了(–input-fields-terminated-by ‘,’),检查后也没有问题,hive中确实使用建表的’,’作为分隔符,那为什么会报错嘞?desc [表名];原创 2023-04-07 16:52:41 · 570 阅读 · 1 评论