- 博客(18)
- 收藏
- 关注
RSS订阅原创 finebi的20个面试题
1. 可以用来导出数据库明细的报表是哪个图表？2. FineBI的参数样式是什么？3. 模板单元格中，左侧下方有黄色三角形，表示什么意思？4. 模板页面已经引用数据集ds1的字段内容，后面将ds1名字改成ds2，模板主体内容会自动变成引用ds2。 (判断题)5. 制作多层饼图用哪个图表？6. 创建自助数据集左右合并有几种方式？(多选题)7. 以下哪个属于决策报表的预览方式？8. 以下哪些能作为时间过滤组件筛选数据？(多选题)9. JavaScript脚本可在以下哪些情况中使用？(多选题)
2024-10-13 18:08:15
257
原创 ETLCloud 在 Linux 上的安装与使用指南
ETLCloud 是一个开源的大数据集成平台，专注于数据的提取、转换、加载（ETL）过程。本文将详细介绍如何在 Linux 环境下安装 ETLCloud，并演示一些简单的使用方法，包括数据源管理、作业创建和任务调度。通过 ETLCloud，用户可以轻松创建和管理 ETL 作业任务、工作流，实现从数据源到目标系统的数据迁移、清洗和转换，支持多种数据源和调度机制，适用于复杂的大数据集成项目。
2024-10-08 10:08:33
999
原创 DolphinScheduler 无法创建租户问题的原因分析与解决方案
DolphinScheduler 无法创建租户的问题通常由权限、数据库配置或版本不兼容等原因引起。通过排查用户权限、配置文件、数据库表结构和日志，可以定位问题并采取相应的措施解决。如果使用的是较老版本的 DolphinScheduler，建议升级到最新的稳定版本。如果使用的版本较旧，可能存在 Bug 导致无法创建租户。DolphinScheduler 的配置文件中可能存在错误配置，特别是与租户管理相关的配置项未正确启用或配置错误。如果表已经存在，但数据无法写入，可以检查数据库日志是否存在相关的错误。
2024-09-25 12:07:55
998
原创 解决 Sqoop 导入 Hive 时时间字段精度丢失问题
在 Sqoop 导入数据时，可以指定 Hive 中的目标表字段类型。例如，可以在 Sqoop 导入时明确将 MySQL 的。通过正确处理时间字段类型映射，可以避免 Hive 中精度丢失的问题，从而确保导入的数据精确和可用。参数指定字段的类型映射，强制 MySQL 的。： 可以在 Sqoop 命令中使用。类型，这样可以保留完整的时间信息。字段转换为 Hive 支持的。字段映射为 Hive 中的。
2024-09-24 20:42:12
989
原创 数仓项目环境搭建
搭建数仓项目环境涉及多个组件和工具的安装与配置，每个步骤都至关重要。本文介绍了从JDK安装、Hadoop、Hive的搭建，到数据采集工具Flume、数据同步工具DataX以及调度工具DS的完整流程。通过这些工具的协同工作，可以实现高效稳定的数据仓库环境。
2024-09-18 11:39:25
1074
原创 Redis 集群搭建教程
Redis 集群是一种去中心化的架构，每个节点既可以作为主节点（Master），也可以有对应的从节点（Slave）。通过哈希槽（Hash Slot）机制，Redis 集群将数据分片存储在不同的主节点上，实现分布式存储和负载均衡。数据分片：数据通过哈希槽自动分配到不同的节点。高可用性：当主节点发生故障时，集群会自动提升对应的从节点为新的主节点，保证服务持续可用。去中心化架构：Redis 集群中没有单点故障，每个节点相互通讯，共同维护集群状态。
2024-09-14 11:26:55
1079
原创 Redis 哨兵模式配置教程
Redis 哨兵模式通过提供自动监控和故障转移机制，实现了 Redis 集群的高可用性。通过部署多个哨兵节点和主从复制，系统能够有效应对主节点的故障并自动恢复，减少人工干预。
2024-09-14 11:09:26
1387
原创 Redis 主从复制配置教程
Redis 主从复制（Master-Slave Replication）允许一个 Redis 实例作为主节点（Master），多个 Redis 实例作为从节点（Slave），从节点会自动同步主节点的数据，并在主节点发生写操作时实时更新。主节点：处理所有写操作，数据变更会同步到从节点。从节点：接收并同步主节点的所有数据，处理只读请求。
2024-09-14 11:03:08
689
原创 Windows中Kettle常见报错及解决方法总结
Kettle在Windows环境下广泛使用，但可能会因为系统配置、权限问题或作业配置不当而遇到各种错误。本文总结了一些常见的错误及解决方法，希望能帮助用户快速排查和解决问题。
2024-09-12 19:41:35
1003
原创 Redis常见报错及解决方法总结
Redis作为高效的内存数据库，在实际使用过程中不可避免会遇到一些问题和报错。为了帮助大家更好地应对这些问题，我将常见的Redis报错及其解决方法进行总结，并提供具体的操作步骤。Redis在高性能、高并发场景下广泛使用，但在实际运行过程中也可能遇到各种问题。通过本文对常见报错的详细解析和解决方案的提供，希望可以帮助开发者在遇到这些问题时，快速排查并解决故障，确保Redis服务的稳定运行。
2024-09-12 18:53:11
1468
原创 Kettle（PDI）安装及入门教程
Kettle，全称为Pentaho Data Integration（PDI），是一款开源的ETL工具。它能够轻松地从各种数据源抽取、转换和加载数据，帮助用户高效处理复杂的数据集成任务。启动Kettle后，进入主界面。工具栏：包含了常用功能，如新建转换、作业、保存、运行等。资源库：用来管理项目中的各种资源，如转换、作业等。设计面板：设计数据转换逻辑的主要区域。日志面板：显示运行过程中产生的日志信息。Kettle作为一款功能强大的ETL工具，能够帮助我们轻松完成复杂的数据集成任务。
2024-09-11 16:00:00
890
原创 Hadoop-HDFS安装及分布式集群搭建详解
本文介绍了如何在Linux环境下安装Hadoop HDFS，并进行了简单的单节点和多节点分布式集群搭建。通过配置Hadoop的核心文件、格式化NameNode、启动HDFS集群，我们可以顺利搭建一个高可用、高容错的HDFS分布式文件系统。HDFS是Hadoop生态系统的基石，熟练掌握其安装及配置是大数据处理的基础。
2024-09-11 06:00:00
1092
原创 Linux自定义实用脚本
需要有一个服务rsync，在所有的分发的电脑上安装 rsync。（赋权限：chmod u+x xsync.sh）集群文件分发脚本（scp -r 文件或者文件夹 root@主机名:/路径）(所有的自定义的脚本文件，存放在/usr/local/bin 下面)命令同步执行脚本（赋权限：chmod u+x xcall.sh）查看整个集群的服务启动情况。
2024-09-10 16:00:00
342
原创 SQL笔试题
题目 1：输出一张搞笑品类 dws 表，用于分析作者近 3 条视频情况：输出每个视频 创建者 user_id 最近发布的 3 个视频，在过去一周内的曝光，点赞总数；需要产出字段：视频 创 建者 user_id，曝光用户数，点赞用户数，曝光次数、点赞次数
2024-09-10 11:27:45
416
原创 DolphinScheduler：大数据任务调度利器
在大数据场景中，任务调度器是必不可少的工具，用于协调多个数据处理任务的执行顺序、调度时间和依赖关系。是 Apache 开源的一款分布式、大数据任务调度系统，致力于解决复杂的任务依赖管理，并提供简单易用的可视化操作界面。本文将介绍 DolphinScheduler 的主要特性、架构以及使用场景。DolphinScheduler 作为 Apache 旗下的开源项目，凭借其强大的任务调度能力、友好的可视化操作界面以及分布式架构，在大数据任务调度领域有着广泛的应用。
2024-09-09 20:16:09
998
原创 Sqoop 使用过程中的常见报错及解决方案
Sqoop 是一个用来在 Hadoop 和关系型数据库（如 MySQL、PostgreSQL、Oracle）之间传输数据的工具。在使用 Sqoop 进行数据导入或导出时，常常会遇到各种错误。在使用 Sqoop 的过程中，常见的报错大多与数据库连接、权限配置、HDFS 目标目录和内存不足等问题相关。检查 Sqoop 命令中的参数是否完整，尤其是数据库连接信息和目标目录等关键参数。Sqoop 在导入数据时发现 HDFS 目标目录已经存在，无法覆盖已有数据。2. 确保 Sqoop 命令中的表名拼写正确。
2024-09-08 19:00:00
1599
原创 Flume 使用过程中的常见报错及解决方案
Apache Flume 是一个分布式、可靠且高度可用的服务，用于有效地从多个数据源收集、聚合和传输大量数据。在使用 Flume 的过程中，可能会遇到各种错误，比如连接问题、权限问题、配置错误等。本文将分享 Flume 使用中的一些常见报错及其解决方案。
2024-09-08 14:16:05
837
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人