实习日志Day2

最新推荐文章于 2024-11-17 21:48:27 发布
最新推荐文章于 2024-11-17 21:48:27 发布
阅读量489 收藏 4
点赞数 13
文章标签： sql hive hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82552347/article/details/138132177
版权
本文介绍了ApacheHive作为分布式MySQL计算工具，如何通过类SQL接口简化MapReduce编程，以及Hive的元数据存储模式（内嵌、本地、远程）、Metastore的作用和HDFS架构，包括Namenode和Datanode的角色。
摘要由CSDN通过智能技术生成

Apache Hive

分布式SQL计算-Hive

Apache Hive是一款分布式MySQL计算的工具，其主要功能是:

  将MySQL语句翻译成MapReduce程序运行

为什么使用 Hive 

使用 Hadoop MapReduce 直接处理数据所面临的问题
  人员学习成本太高需要掌握 java 、 Python 等编程语言
  MapReduce 实现复杂查询逻辑开发难度太大
使用 Hive 处理数据的好处
  操作接口采用类 SQL 语法，提供快速开发的能力（简单、容易上手)

Hive元数据存储的三种模式?

内嵌模式
本地模式
远程模式(推荐)

Hive元数据存储三种模式的区别?

Metastore元数据存储   


元数据包含:用Hive创建的database、table、表的字段等元信息。元数据存储:存在关系型数据库中,如:hive内置的Derby数据库或者第三方MySQL数据库等Metastore:即元数据存储服务，作用是:客户端连接metastore服务，metastore再去连接MySOL等数据库来存取元数据有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL等数据库的用户名和密码，只需要连接metastore 服务即可。

HDFS的架构

 
HDFS采用Master/Slave架构.
一个HDFS集群有两个重要的角色，分别是Namenode和Datanode.
HDFS的四个基本组件:HDFS Client、NameNode、DataNode和Secondary NameNode.

秋梨陈皮汤0528
关注
Day05实习日记1
08-08
"Day05实习日记1" 通过阅读 Day05 实习日记1，我们可以总结出以下几个关键的知识点： 1. HTML 基础知识： 在这篇实习日记中，我们可以看到作者在学习 HTML 的基础知识，包括文本格式化标签、字符实体、锚点等。...
Day09实习日记1
08-08
Java 实训 Day09 实习日记1 今天是 2017 年 7 月 12 日星期三，晴天，地点在工科楼 A203，老师是张明星，单位是南京华信智源教育科技有限公司。本次实习日记主要记录了使用 Java 进行的 MVC 相关操作，并使用 ...
Day10实习日记1
08-08
通过阅读Day10实习日记1，我们可以了解到Spring MVC框架的基本概念和实践操作。以下是从标题、描述、标签和部分内容中提取的知识点： 一、Spring MVC框架介绍 * Spring MVC是一种基于Java的Web应用程序框架，提供...
Day08实习日记1
08-08
Java 实习日记 Day08 本篇日记记录了暑期 Java 实训的第八天，日期为 2017 年 7 月 11 日星期二。通过本篇日记，我们可以了解到当天的学习内容和学习体验。 一、回顾昨天的内容 在上午的学习中，首先预留出了半...
Day11实习日记1
08-08
Day11 实习日记 1，表明这是一个 Java 实训项目的日记记录，记录了作者在学习 Java Web 开发时的经验和感受。 描述解释 描述部分为空，这表明作者主要是记录自己的实践经验和感受，而不是对项目的总结或介绍。 ...
如何准备 PostgreSQL 中级认证考试？
cqsizhuang的博客
11-14 289
准备PostgreSQL中级认证考试（PGCE）需要系统的学习和实践。
sql注入之二次注入（sqlilabs-less24）
CSDNRomance的博客
11-13 597
二阶注入相对隐蔽，因为其恶意代码不会在第一步直接执行，所以在开发和测试时，务必要考虑输入数据在不同阶段的调用方式，以避免此类攻击。
如何在 SQL Server 中新增账户并指定数据库权限
huaqianzkh的专栏
11-17 700
创建新用户账户为用户授予登录权限添加用户到指定数据库设置用户的数据库角色确认用户权限。
sql 对某字段以_分隔符的 进行 不足补0 转行
情随事迁个人博客
11-13 230
-- 声明输入字符串和临时表 DECLARE @inputString NVARCHAR(MAX) = 'AD_1_D1_2_3_6fff3'; DECLARE @tempTable TABLE (PartNumber INT, PaddedPart NVARCHAR(10)); -- 初始化变量 DECLARE @start INT = 1; DECLARE @end INT; DECLAR...
labview中连接sql server数据库查询语句
weixin_70653117的博客
11-13 440
日常记录
SQL Server Management Studio 的JDBC驱动程序和IDEA 连接
u014114223的博客
11-17 710
下面我们要编写测试代码啦，这段测试代码的功能是向 SQL Server 数据库发送 SQL 语句请求，并获取和处理返回的结果哦。以下的测试代码是建立在数据库中已经建立了名为 “test1” 的数据库，并且在里面创建了一张 “student” 表的基础上编写的，如果你的数据库环境不一样，需要根据实际情况进行调整。
sql server into #t2 到临时表的几种用法
情随事迁个人博客
11-13 374
无需创建临时表结构自动识别 INTO #t2 通常用于将查询结果集插入到一个临时表(以 # 开头的表名表示这是一个本地临时表，仅在当前会话中可见)中。以下是一些使用 INTO #t2 将数据插入到临时表的常见用法 SELECT column1, column2, ... INTO #t2 FROM SomeTable WHERE some_condition; 使用现有表结构创建临时表 如果你已经...
高级 SQL 技巧讲解
最新发布
yang_xs的博客（只讲干货）
11-17 540
SQL（结构化查询语言）是管理和操作数据库的核心工具。从基本的查询语句到复杂的数据处理，掌握高级 SQL 技巧不仅能显著提高数据分析的效率，还能解决业务中的复杂问题。本文将深入探讨一些高级 SQL 技巧，包括窗口函数、复杂联结、CTE（公用表表达式）、递归查询、动态 SQL、性能优化等。高级 SQL 技巧涵盖了从分析、建模到性能优化的方方面面。通过窗口函数进行复杂分析、使用 CTE 提高可读性、递归查询处理层级数据、动态SQL提高灵活性，开发者能够高效解决业务中的各种复杂需求。
PL/SQL执行.sql文件
男神的专栏
11-13 493
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。原文链接：https://blog.csdn.net/iamlzyoco/article/details/136322981。2.打开plsql选择命令窗口，即选择File->New->Command Window；注意：一定记得最后一步，提交后，才能查询到更新后的数据。中选择需要执行的.sql文件，最后点击打开。3.输入@然后按回车键，在弹出来的文件。
用AI来写SQL：让ChatGPT成为你的数据库助手
王傲旗的大数据之路
11-13 620
AI写SQL不是要完全替代人工，而是要成为我们的得力助手。节省编写SQL的时间减少出错概率学习SQL最佳实践最重要的是，这让我们能够将更多精力放在业务逻辑和数据分析上，而不是陷入SQL语法的细节中。🎁福利：后台回复"SQL模板"，获取本文提到的详细SQL提示词模板。#技术进阶 #效率工具 #数据库开发。
WEB攻防-通用漏洞&SQL读写注入&MYSQL&MSSQL&PostgraSQL
2301_78384345的博客
11-13 382
无法写入：secure_file_priv突破，注入中需要支持SQL执行环境，没有就需要借助phpmyadmin或能够直接脸上对方数据库进行绕过。set global slow_query_log_file='shell路径’ // 设置日志记录的功能。在实战中，一般使用load_file读取有价值的文件：如数据库配置文件、apache搭建文件，可百度搜索。MYSQL，PostgreSQL，MSSQL高权限注入点-可升级读写执行等。PostgreSQL-高权限读写注入。MYSQL-root高权限读写注入。
用sqlmap工具打sqli-labs前20关靶场
longnice666的博客
11-17 821
sqlmap是一个自动化的SQL注入工具，其主要功能是扫描，发现并利用给定的URL和SQL注入漏洞。
PostgreSQL学习总结（13）—— PostgreSQL 15.8 如何成就数据库性能王者？
科技D人生
11-16 530
在当今数据驱动的时代，数据库的性能无疑是企业和开发者最为关注的焦点之一。而 PostgreSQL 15.8 的横空出世，犹如一颗璀璨的明星，在数据库性能的苍穹中闪耀着耀眼的光芒，引得无数人为之侧目。今天，就让我们一同揭开 PostgreSQL 15.8 性能卓越的神秘面纱，探寻它究竟为何能荣登数据库性能王者的宝座。PostgreSQL 15.8 在查询优化方面实现了质的飞跃。其全新升级的查询优化引擎，就像是一位拥有超凡智慧的导航员，能够在海量数据的迷宫中迅速为查询语句规划出最优路径。
121、SQL Server取开始时间、截止时间
m0_57310426的博客
11-14 272
SELECT dateadd(ms,-3,DATEADD(mm, DATEDIFF(m,0,getdate())+1, 0)) 当月最后一天。SELECT dateadd(ms,-3,DATEADD(dd, DATEDIFF(dd,-1,getdate()), 0)) 当天结束。SELECT DATEADD(mm, DATEDIFF(mm,0,getdate()), 0) 当月第一天。dd,0,getdate()), 0)) 当天开始。
Oracle Database 2 Day DBA 教程：基础与实践
"Oracle Database 2 Day DBA 是一份针对数据库管理员的快速入门指南，旨在教授如何执行日常数据库管理任务。这份指南旨在帮助你理解Oracle数据库背后的概念，并教会你完成保持数据库正常运行所需的所有常见管理任务...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值