吃不到葡萄o-CSDN博客

原创 Hive调优

例如: 大量的小文件, 就会有大量的Block块, 就有大量的MapTask任务, 针对于这种情况: 我们可以使用归档技术, 把多个小文件合并成1个大文件, 降低MapTask任务数.默认Hive同一时间只能执行1个阶段, 如果多个阶段之间的依赖度比较低, 就可以开启并行执行, 让多个阶段同时执行, 降低MR job任务的执行时间.去重统计, 底层会转成1个MR任务.more: 默认的, 全表扫描, 查询指定的列, limit分页查询, 简单查询不走MR, 其它的要转MR任务.

2024-01-22 16:46:47 1166

原创 Hadoop原理之HDFS

hdfs由三部分组成:分别是 namenode,SecondaryNameNode,datanodenamenode: 主节点.1. 管理整个HDFS集群.2. 维护和管理元数据.SecondaryNameNode: 辅助节点.辅助namenode维护和管理元数据的.datanode: 从节点.1. 存储具体的数据.2. 负责源文件的读写操作.3. 定时和namenode发送心跳包.

2024-01-17 20:22:51 1014

原创 HQL DQL语句基本查询

- 4条, 只有左表的数据.3. mapreduce.job.reduces 参数的值默认是 -1, 即: 程序会按照数据量, 任务量自动分配ReduceTask的个数, 一般是1个, 即: 1个桶.-- 默认是-1, 即: 程序会根据数据量, 任务量, 自动给出 ReduceTask任务数, 一般是: 1。-- 每次获取的数据条数都不一样.

2024-01-12 18:21:41 554

原创 HQL之DDL语句

- 设置为: 外部表, EXTERNAL必须大写, 后边的true或者false大小写均可(建议大写)-- 查看表的详细信息, 其中: Table type表示表的类型: MANAGEN_TABLE(受管理表, 内部表) EXTERNAL_TABLE(外部表)alter table t_archer_i replace columns (new_id int, new_name string);

2024-01-10 19:48:18 1257 1

原创 5.Hadoop之MapReduce初体验

hadoop-mapreduce-examples-3.3.0.jar Hadoop提供的MR任务的测试包。# 细节: HDFS只支持绝对路径, 不支持相对路径, 且HDFS的路径和Linux一样, 都是 /开头的.目的地目录路径 # 必须是HDFS的目录路径, 且该目录必须不存在, 因为MR结果是覆盖写入.数据源文件路径 # 必须是HDFS的文件路径, 即: 要进行单词统计的文件(绝对)路径。# 扩展: MR计算圆周率底层用的是蒙特卡洛算法.

2024-01-09 16:50:59 467 1

原创 Hadoop集群初体验

把所有的服务(namenode, SecondaryNameNode, datanode, ResourceManager, nodemanager)装到1台机器, 适用于: 学习, 调试.Yarn的WebUI界面: 192.168.88.161:8088, 只记录本次启动Hadoop集群至关闭, 所有的计算任务.# 细节: HDFS只支持绝对路径, 不支持相对路径, 且HDFS的路径和Linux一样, 都是 /开头的.

2024-01-08 22:19:29 1215 2

原创 shell脚本的编写和运行以及传参问题

Shell编程:就是把我们写的Linux命令封装到1个文件中, 这个文件就叫: Shell脚本. 它是可以被执行的.从编写, 到执行的完整过程, 称之为:;Shell编程.# Shell脚本的执行, 底层需要用到Shell解释器, Linux的众多发行版, 默认的Shell解释器是: /bin/bash[root@node1 ~]# cat /etc/shells # 查看当前Linux系统支持哪些Shell解释器/bin/sh/bin/bash/bin/tcsh。

2024-01-07 21:11:36 1068 1

原创 Linux中的用户相关命令及权限命令

背景Linux系统和Mac系统, windows系统一样, 也是支持多用户管理的.为了更好的管理多用户, 就有了用户组和用户的概念.Linux系统中, root账号拥有最高权限.

2024-01-04 20:11:14 583 4

qq_67915886的博客