HaydenWang1102-CSDN博客

原创 Hadoop——MapReduce

Hadoop——MapReduce一、mapreducemapreduce介绍 MapReduce 本身就是用于并行处理大数据集的软件框架。MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例（许多 Map 和 Reduce）的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表。 Map

2020-11-11 10:15:27 161

原创 Hadoop——Yarn

Hadoop——Yarnyarn官方文档1. Yarn功能介绍： yarn为hadoop的分布式集群资源管理系统，市hadoop2.0的一特性。其特点为 1、支持非mapreduce应用的需求 2、可扩展性 3、提高资源是用率 4、用户敏捷性 5、可以通过搭建为高可用2.Yarn组成部分：ResourceManger ResourceManger用来主要有两个功能。一个是任务分配，一个是资源调度。其中ApplicitionManager执行任务分配

2020-11-05 20:06:54 289 1

原创 Flume

Flume一、概念介绍Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。...

2020-10-21 18:16:41 151 1

原创 Zookeeper

Zookeeper：基础组件一：功能介绍1.可以为客户端管理少量数据（k, v）格式2.可以为客户端监听指定数据节点的状态并在数据节点发生变化时，通知客户端二：选举机制投票：得票大于zookeeper集群1/2当选 leaderzookeeper 集群通常设置奇数台节点（3或5台），每台节点拥有自身id即myid，进程名为QuorumpeerMain。因为每台机器启动时间存在延迟，所以当第一台机器启动时，首先会访问2888端口，查看是否存在leader，如果存在自动成为follower，否

2020-10-12 16:27:08 138

原创 Hadoop——HDFS

Hadoop——HDFS1. HDFS工作机制：NameNode存放信息元数据（地址如：\aa\bb）块信息（块大小、副本数量、块位置（分布在哪些节点））存放位置存放位置：内存（与磁盘） c存放结构：树配置首先下载jdk，hadoop 配置环境 vi /etc/profile初始化hdfs要配置三个文件./etc/core-site.xml ....

2019-09-22 09:03:28 118

原创 Linux基本配置

2019-09-19 21:42:29 99

原创大数据复习篇

自我声明此篇开始是个人大数据开发相关的复习篇：顺序为 Linux 配置指令 Shell Hadoop HDFS MapReduce Yarn Zookeeper Redis Hive Hbase Flume- Sqoo...

2019-09-19 20:28:54 158

转载泛型-JAVA如何在类中使用ParameterizedType获取泛式类型

https://segmentfault.com/q/1010000015604853

2019-07-03 16:34:20 159

原创《数据结构与算法 python语言描述》学习笔记（五）———— 栈和队列

第一部分：学习内容概要概述栈：概念和实现栈的应用队列迷宫求解和状态空间搜索第二部分：学习笔记概述 1. 栈是保证元素后进先出（Last In First On，LIFO） 2. 队列是保证元素先进先出（First In First On， FIFO） 3. 应用环境：计算过程分为一些顺序进行的步骤（任何复杂一点的计算都是这样）计算中执行的某些步...

2018-11-15 17:28:52 493

原创《数据结构与算法 python语言描述》学习笔记（四）————字符串

第一部分：学习内容概要字符集、字符串和字符串操作字符串的实现字符串匹配（子串查找）字符串匹配问题Python正则表达式第二部分：学习笔记字符集、字符串和字符串操作 1. 字符集就是有穷的一组字符构成的集合。 2. 字符序是字符集里的字符上定义的一种顺序 3. 字符串可以看做一类特殊的线性表，表中元素取自选定的字符集。 4. 字符串抽象数据类型ADT Stri...

2018-10-24 15:15:59 609

原创《数据结构和算法 python语言描述》学习笔记（三）————线性表

第一部分：内容概述线性表的概念和表的抽象数据类型顺序表的实现链接表链表的变形和操作表的应用第二部分：学习笔记线性表的概念和表的抽象数据类型 1. 在一个非空的线性表里，存在着唯一的一个首元素和唯一的一个尾元素（末元素）。除首元素之外，表的每个元素e都有且仅有一个前驱元素；除了尾元素之外的每个元素都有且仅有一个后继元素。 2. 线性表的操作 ① 首先，作为抽象...

2018-10-19 16:49:03 1274

原创《数据结构与算法 python语言描述》学习笔记（二）————抽象数据类型和Python类

第一部分：学习内容概要抽象数据类型Python的类第二部分：学习笔记抽象数据类型 1.抽象数据类型（Abstract Data Type，ADT），通过一套接口阐述说明这一程序部分的可用功能，但不不限制功能的实现方法。 2.抽象数据类型（ADT）的基本想法是把数据定义为抽象地集合，只为他们定义可用的合法操作，并不暴露其内部实现的具体细节，不论是其数据的表示细节还是操作的实现细...

2018-10-05 13:15:00 1458

原创《数据结构与算法 python语言描述》学习笔记（一）————绪论

第一部分：学习内容概要程序开发过程问题求解算法和算法分析数据结构第二部分：学习笔记程序开发过程框架图分析，严格化——设计——编码——检查，翻译——测试/调试- 牛顿迭代法0.对给定正实数x和允许误差e，令变量y取任意正实数值，如：y = x;1.如果y*y与x足够接近，即 | y * y - x | &amp;amp;lt; e，计算结束并把y作为结果；2.取z =（y + x...

2018-10-01 15:46:13 2499 3

原创新阶段，新起点。

开篇2018年1月，BlackDog还没确定考研或考公，正在努力学习python，并对我百般吹嘘python有多么多么厉害，我抱着好奇的态度稍微的接触了一下python语言。随着对python后来的深入了解，让我与python结下了梁子，并决定和它一起并肩奋斗我的后半身。今天起在CSDN不断更新自己与python的碰撞。也是时刻提醒我不忘初心，贵在坚持。以上...

2018-09-29 21:02:58 191

qq_42056492的博客