数仓开发环境链接

最新推荐文章于 2024-10-19 21:02:15 发布
最新推荐文章于 2024-10-19 21:02:15 发布
阅读量574 收藏 11
点赞数 8
分类专栏： # 5-离线数仓-A级 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45972323/article/details/136382634
版权
本文介绍了如何使用DataGrip开发工具连接HiveServer2，包括启动服务、配置连接属性以及测试数据库操作。同时，详细阐述了在遇到环境问题时的日志排查策略。
摘要由CSDN通过智能技术生成

这里写目录标题

1开发工具链接大数据组件

1.1 启动hiveserver2

数仓开发工具datagrip 需要用到JDBC协议链接到Hive，需要启动hiveserver2。

cd /opt/module/hive
hiveserver2

1.2配置DataGrip连接

创建hive链接
在这里插入图片描述
配置连接属性
在这里插入图片描述

1.3测试使用

创建数据库gmall，并观察是否创建成功。
在这里插入图片描述
对新建数据库，进行增删改查。

2 环境问题排查思路

所有用到的环境日志，逐一排查。
hive : cd /opt/module/hive/conf/hive-log4j2.properties
在这里插入图片描述
property.hive.log.file 指定了日志的位置
cd /tmp/atguigu/
在这里插入图片描述
[atguigu@hadoop102 atguigu]$ tail -500 hive.log
查看最后500行
[atguigu@hadoop102 atguigu]$ tail -f hive.log
实时监控，再把报错的操作再做一遍。

TTXS123456789ABC
关注
专栏目录
数仓建模—数据模型
04-18 6万+
在详细探讨数据模型之前，我们需要明确什么是数据。从本质上讲，数据由收集、存储、分析和用于制定未来决策的事实、数字和统计数据组成。在当今的数字世界中，我们不断生成大量此类数据 - 如果它要具有任何功能，就需要以有效的方式进行处理。这就是数据模型的用武之地。数据模型是指用于组织和管理数据库或信息系统中的数据的数据结构的抽象表示。它定义了数据元素（代表现实世界的对象）之间的关系以及它们的组织、存储和检索方式。想象一下数据模型下的构建计划会很有帮助，整个系统将在此基础上构建。
数仓建设规范
爱吃辣条的博客
02-04 1433
离线数仓建设规范
Hive 数仓工具(2) 启动 连接 数据库操作 hive数据类型 建表语法 数据导入 内部表 外部表
湖中屋的博客
06-20 382
8启动hive bin/hive show databases; create database db_xxxx; create table a(id int, name string); show tables; 9第二种连接方式 (hiveserver2服务:beeline JDBC连接) 1)hiveserver2 & -->netstat -nltp |grep 10000 2)beeline !connect jdbc:hive2://linux201:10000 root(当前用户
数据仓库链接
weixin_41526384的博客
04-03 284
https://blog.csdn.net/mark_wu2000
spark连接外置hive数仓的方法
m0_53953493的博客
03-31 2848
如果想连接外部已经部署好的Hive，需要通过一下几个步骤： 1、Spark要接管Hive需要把hive-site.xml复制到spark/conf/目录下。 这样启动spark读取conf文件的时候，就会读取hive-site这个文件下的hive数仓。 2、还需要你在 jars mysql-connector-java-5.1.27-bin.jar 包放到spark/jars下面，用来连接访问hive元数据库的jdbc客户端。 3、如果访问不到hdfs，则把core-site.xml和hdfs-site
大数据基础知识——数仓的搭建（维度建模）
lixufei12138的博客
03-18 1万+
数据仓库 文章目录数据仓库数据仓库的介绍：数据仓库的概念：OLTP和OLAP区别：数据仓库的特点：面向主题：数据集成：非易失：时变：数据仓库系统架构系统结构图源数据ETL数据仓库与数据集市应用系统用户层纬度分析：维度分析介绍指标和纬度识别维度案例维度分层与分级数仓中的名词解释数仓名词之间关系实体表，事实表，维度表之间的关系指标与标签的区别维度和指标区别与联系自然键与代理键在数仓的使用区别数仓建模数据建模的概念范式建模法（Third Normal Form，3NF）维度建模法（Dimensional Mode
Hive数仓开发环境之DataGrip
qq_56870570的博客
09-15 920
数仓开发工具可选用DBeaver或者DataGrip。两者都需要用到JDBC协议连接到Hive，故需要启动HiveServer2。 1.启动HiveServer2 [atguigu@hadoop102 hive]$ hiveserver2 2.配置DataGrip连接 1）创建连接 2）配置连接属性 所有属性配置，和Hive的beeline客户端配置一致即可。初次使用，配置过程会提示缺少JDBC驱动，按照提示下载即可。 3.测试使用 创建数据库gmall，并观察是否创建成功。 1）创建
Linxu下的实时数仓demo环境搭建
wangqiaowq的博客
06-21 117
storage_root_path=/path/your/data_dir ##可以使用默认的,默认目录在 BE安装目录的 storage 目录下,BE 配置的存储目录必须先创建好。安装完成之后就能看到/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el8_3.x86_64/文件夹下lib、bin等文件都出现了。启动 /opt/module/doris/doris_fe/bin/start_fe.sh --daemon。，如果你需要更多优化配置，请参考。
数仓建模—数据语义层
热门推荐
04-23 6万+
如今，企业产生大量数据，需要以正确的方式进行分析才能做出重要决策。数据可能来自多个来源并采用不同的格式，这使得清楚地了解其含义和重要性成为一项挑战。这就是语义层的用武之地。语义层存在于数据仓库和最终用户使用的应用程序之间。它为用户提供了简化且一致的数据视图，无论其基础数据源的复杂性如何。该逻辑层有助于映射物理数据结构以创建概念数据模型。它定义了数据元素之间的所有规则和关系，并以业务术语提供了数据的通用词汇表。然后，用户可以轻松地与数据进行交互，而无需了解其数据源的技术知识。
基于Flink+Druid的实时数仓开发（一）
weixin_46044822的博客
05-04 1644
@基于Flink+Druid的实时数仓开发 Canal部署 简介 基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger（触发器） 获取增量变更 从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务，基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引、倒排索引等) 业务 cache 刷新 带业
Kafka 为什么要抛弃 Zookeeper？
m0_54369189的博客
10-16 385
本文，我们分析了为什么 Kafka 要移除 ZooKeeper，主要原因有两个：ZooKeeper不能满足 Kafka的发展以及 Kafka想创建自己的生态。在面临越来越复杂的数据流处理需求时，KRaft 模式为 Kafka 提供了一种更高效、简洁的架构方案。不论结局如何，Kafka 和 ZooKeeper曾经也度过了一段美好的蜜月期，祝福 Kafka 在 KRaft模式越来越强大，为使用者带来更好的体验。
Apache Storm实时流处理的核心技术
hello.reader
10-16 1089
Apache Storm 是一个流处理引擎，它可以持续处理不断到来的数据流（streams）。Storm 允许用户构建拓扑（Topology）来定义数据流的路径以及处理的逻辑。在这种拓扑中，数据从源（Spout）开始流入，通过一系列的处理节点（Bolt）进行转换或处理，最终得到输出结果。Storm 的架构基于并行执行的理念，支持高吞吐量和低延迟的数据处理。分布式数据流处理：Storm 可以在分布式环境下处理大量数据，支持大规模的集群部署。容错和高可用性。
RabbitMQ 如何保证消息不丢失？
qq_74042166的博客
10-13 1806
要保证 RabbitMQ 的消息不丢失，需要从生产者、路由过程、消费者和 Broker 端采取一系列措施。消息丢失的常见原因包括：生产者发送失败、消息路由失败、消费者处理异常，以及 RabbitMQ 服务宕机未持久化。为解决生产者端的消息丢失问题，可以采用事务机制或发布确认机制，确保消息成功发送并得到确认。路由过程中，可以通过mandatory参数或设置备份交换机来处理路由失败的情况，确保消息到达队列。消费者端则应使用手动确认模式，保证消息处理完成后才返回 ACK，避免因处理失败导致消息丢失。
SparkSQL介绍及使用
m0_70882914的博客
10-13 506
SparkSQL介绍及使用
大数据与人工智能在金融风险控制中的应用
2405_87249521的博客
10-16 1069
通过对海量数据的实时分析和智能化的预测模型，金融机构能够更准确地识别潜在风险，采取适当的防范措施，从而提升金融市场的稳定性和安全性。传统的信用评估主要依赖于财务报表和历史信用记录，而大数据技术可以结合客户的社交媒体行为、购物习惯、互联网搜索记录等非结构化数据，为风险评估提供更全面的视角。同时，AI还能够自动识别潜在的合规风险，减少人工审核的压力。大数据与人工智能在金融风险管理中有着广泛的应用场景，从信用评估、市场风险分析，到反欺诈和监管合规，都可以利用这些技术来提升风险控制的效率和准确性。
024 elasticsearch集群
m0_46695127的博客
10-15 1447
024 elasticsearch集群
初识Flink
程序员小潘
10-15 594
伴随现代信息技术的持续发展，我们能清晰地察觉到，信息生产的规模不断扩张，信息更新的速率持续攀升。以电商系统为例，用户从搜索商品到下单支付，整个链路可能短短几秒就可以完成，倘若能在这条链路里更迅速地分析与挖掘出价值更高的信息，便能取得优势地位。在这种需求推动的宏大背景下，各类批处理、流处理引擎得以快速发展，其中 Apache Flink 更是成为后来居上的佼佼者。
微服务架构 --- 使用RabbitMQ进行异步处理
最新发布
2302_79840586的博客
10-19 551
RabbitMQ 是一种流行的消息队列（Message Queue）实现，基于 AMQP 协议（Advanced Message Queuing Protocol）。它支持异步通信，使多个系统之间以非阻塞的方式交换数据。
高级java每日一道面试题-2024年10月14日-消息中间件篇-如何确保消息中间件的消息不丢失？
qq_43071699的博客
10-14 824
* 在消费者处理消息时，如果发生异常或失败，可以配置重试机制来重新发送消息给消费者进行处理。 * 重试机制可以设置重试次数和重试间隔等参数，以确保在多次尝试后仍然无法处理消息时，能够采取相应的措施（如将消息投递到异常交换机、记录日志等）。 * **自动重试**：配置消费者端的自动重试机制，当消息处理失败时，可以自动重试一定次数。 * **自定义重试逻辑**：根据业务需求实现自定义的重试逻辑。
数仓开发 mapping
07-12
数仓开发中的mapping是指将源系统中的数据映射到数仓中的数据模型的过程。这个过程包括数据抽取、转换和加载。 首先，需要进行数据抽取，从源系统中提取需要的数据。这可以通过使用ETL（Extract, Transform, Load）...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值