qq_31336073-CSDN博客

原创大数据hive离线开发实战第二章笔记

hive数据仓库底层的存储，依赖的是Hadoop平台的分布式文件系统（HDFS），而不是关系型数据库；Hive数据仓库的底层计算处理数据依赖的是Hadoop平台的分布式计算框架MapReduce。hive采用HQL查询语言对这些还练数据进行自动化的管理和计算，使得操作Hive就像操作型关系数据库一样。我们可以把Hive中海量结构化数据的组织看成一个个表，而实际上这些数据以分布式存储在Hadoop平台的HDFS分布式文件系统。

2023-10-25 15:55:38 53

原创大数据Hive离线计算开发实战笔记第一章

第一张笔记内容

2023-10-25 15:42:07 108

原创探讨mapper和reducer之间的关系

一旦JobTracker确定了所需的map任务数，他就会检查集群中的主机数，正在运行的TaskTracker数以及可并行执行的map任务数（用户自定义的配置变量）。它还从整个作业执行过程的所有任务中收集指标，其中一些指标是Hadoop提供的，还有一些是map和reduce任务的开发人员指定的，不过本例中我们没有使用任何指标。所以，在本地处理大部分数据块的任务/主机计划比起初预想的可能性更高。如果集群有足够的能力一次性执行所有的map任务，它们将会被全部启动，并获得它们将要处理的分块数据和作业JAR文件。

2023-08-27 11:35:35 120

原创 MapReduce

2.map方法的输出（今后作为reduce方法的输入）是一系列键以及与之关联的值列表，称之为k2和v2。需要注意的是，每个mapper仅仅输出一些列单个的键值对，他们通过shuffle方法组合成键与值列表。2.每个值必须与键相关联，但键可能没有值（虽然在这个特定的例子中，没有出现这种情况）1.MapReduce作业的map方法的输入是一系列键值对，称之为K1和v1。3.MapReduce作业的最终输出是另一串键值对，称之为k3和v3。1.键必须是唯一的，而值并不一定是唯一的。

2023-08-27 10:52:43 36

原创 hadoop第一章绪论

Hadoop平台及其组件HDFS，MapReduce的简单介绍

2023-08-26 21:15:50 64

原创二分法排序

#include<iostream> using namespace std; int main() { return 0; }

2021-06-11 20:23:26 65

原创二分法查找

#include<iostream> using namespace std; int main() { return 0; }

2021-06-11 20:16:02 59

原创王道顺序表第九题

#include<iostream> #include<stdlib.h> #define Size 19 using namespace std; typedef struct Table { int* head; int length; int size; }table; table InitTable() { table t; t.head = (int*)malloc(Size * sizeof(int)); if (!t.he...

2021-06-03 23:10:53 99

原创王道顺序表第八题

#include<iostream> #include<stdlib.h> #define Size 13 using namespace std; typedef struct Table { int* head; int length; int size; }table; table InitTable() { table t; t.head = (int*)malloc(Size * sizeof(int)); if (!t.he...

2021-06-03 22:35:46 150

原创王道顺序表第七题

#include<iostream> #include<stdlib.h> #define Size 15 using namespace std; typedef struct Table { int* head; int length; int size; }table; table InitTable() { table t; t.head = (int*)malloc(Size * sizeof(int)); if (!t.he...

2021-06-03 21:06:01 98

原创王道顺序表第六题

从有序表中删除所有其重复的元素，是表中所有元素的值均不同 #include<iostream> #include<stdlib.h> #define Size 12 using namespace std; typedef struct Table { int* head; int length; int size; }table; table InitTable() { table t; t.head = (int*)malloc(Size...

2021-06-03 19:17:27 96

原创王道顺序表第五题

#include<iostream> #include<stdlib.h> #define Size 3 using namespace std; typedef struct Table { int* head; int length; int size; }table; table InitTable() { table t; t.head = (int*)malloc(Size * sizeof(int)); if (!t.hea...

2021-06-02 21:16:31 80

原创王道顺序表第三题

#include<iostream> #include<stdlib.h> #define Size 5 using namespace std; typedef struct Table { int* head; int length; int size; }table; table InitTable() { table t; t.head = (int*)malloc(Size * sizeof(int)); if (!t.hea...

2021-06-02 20:45:06 65

原创王道顺序表第二题