- 博客(13)
- 收藏
- 关注
RSS订阅原创 MySQL数据库--知识文档(全)
1、MySQL是关系型数据库2、MySQL一张表数据可以达到千万行数据量3、MySQL支持标准SQL语言SQL(Structured Query Language)结构化查询语言，专门用于操作数据库的语言。
2024-04-22 08:30:00
859
原创 Zookeeper--简介
概述:它是一款非常好用的 大数据分布式协调服务组件, 主要是用来帮助我们管理大数据进群的, 例如: 主备切换, 选举机制, 全局数据一致性...吉祥物是: 1个拿着铁锹的小人儿
2024-04-13 14:45:00
401
1
原创 Hive调优
Hive调优总结:1. 改硬件.2. 开启或者增大某些设置(配置). 负载均衡, 严格模式(禁用低效SQL), 动态分区数...3. 关闭或者减小某些设置(配置). 严格模式(动态分区), 推测执行...4. 减少IO传输. Input(输入)/Output(输出), 列存储orc, 压缩协议snappy, join优化。
2024-04-13 08:45:00
479
原创 Hive函数
Hive函数划分介绍:函数就是开发者定义好的规则, 我们只要调用指定的函数, 传入对应的参数, 就能获取对应的结果, 我们无需关心函数内部是如何执行的, 只要会调用即可.可以把函数理解为是人们研发的机器, 不同的机器所需的原材料(参数)是不一样的, 传入不同的原材料(参数), 就会获取不同的结果.概述:最初Hive的函数分为 内置函数 和 用户自定义函数两大类, 而用户自定义函数又分为 UDF, UDAF, UDTF三种.
2024-04-11 14:30:00
545
原创 Hive表操作----HQL
1. 建表格式不同. 内部表: 直接创建即可, 默认就是内部表. 外部表: 建表是需要加 external关键字.2. 权限不同, 是否会删除源文件. 内部表: 也叫受管理表, 删除内部表时, 不仅会删除元数据(Hive中查不到了), 还会删除源文件(HDFS也查不到了) 外部表: 只会删除元数据(Hive中查不到了), 不会删除源文件(HDFS中还在)
2024-04-11 08:45:00
623
原创 Hive入门
通过分布式的方式, 执行SQL语句, 获取分析结果.以后你只要写HiveSQL语法就可以了,Hive会将其自动转成MR任务, 交由Yarn来调度执行.Hive是依赖Hadoop的, 想使用Hive, 必须先搭建和启动Hadoop集群.
2024-04-09 17:37:32
886
1
原创 Hadoop原理(总)--HDFS+MapReduce+Yarn
Hadoop原理(总)--HDFS原理+MapReduce原理+Yarn原理
2024-01-23 08:00:00
582
4
原创 大数据之旅--Hadoop入门
Hadoop是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。-------几张图让你理解Hadoop的架构
2024-01-16 08:45:00
1246
3
原创 大数据之旅--大数据入门
分布式是指将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情。集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作(服务)，可以是并行的，也可以是做备份。
2024-01-13 08:45:00
573
2
原创 shell编程
shell编程：文件的上传和下载、压缩和解压缩、如何定义和使用变量、符号的应用、shell脚本的编写和运行、shell脚本的传参问题
2024-01-11 08:45:00
916
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人