![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 79
HaydenWang1102
这个作者很懒,什么都没留下…
展开
-
Hadoop——MapReduce
Hadoop——MapReduce一、mapreducemapreduce介绍 MapReduce 本身就是用于并行处理大数据集的软件框架。MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例(许多 Map 和 Reduce)的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表,输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表,然后根据它们的键(为每个键生成一个键/值对)缩小键/值对列表。 Map原创 2020-11-11 10:15:27 · 157 阅读 · 0 评论 -
Hadoop——Yarn
Hadoop——Yarnyarn官方文档1. Yarn功能介绍: yarn为hadoop的分布式集群资源管理系统,市hadoop2.0的一特性。其特点为 1、支持非mapreduce应用的需求 2、可扩展性 3、提高资源是用率 4、用户敏捷性 5、可以通过搭建为高可用2.Yarn组成部分:ResourceManger ResourceManger用来主要有两个功能。一个是任务分配,一个是资源调度。其中ApplicitionManager执行任务分配原创 2020-11-05 20:06:54 · 286 阅读 · 1 评论 -
Flume
Flume一、概念介绍Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。...原创 2020-10-21 18:16:41 · 150 阅读 · 1 评论 -
Zookeeper
Zookeeper:基础组件一:功能介绍1.可以为客户端管理少量数据(k, v)格式2.可以为客户端监听指定数据节点的状态并在数据节点发生变化时,通知客户端二:选举机制投票:得票大于zookeeper集群1/2当选 leaderzookeeper 集群通常设置奇数台节点(3或5台),每台节点拥有自身id即myid,进程名为QuorumpeerMain。因为每台机器启动时间存在延迟,所以当第一台机器启动时,首先会访问2888端口,查看是否存在leader,如果存在自动成为follower,否原创 2020-10-12 16:27:08 · 136 阅读 · 0 评论 -
《数据结构与算法 python语言描述》学习笔记(一)————绪论
第一部分:学习内容概要程序开发过程问题求解算法和算法分析数据结构第二部分:学习笔记程序开发过程 框架图分析,严格化——设计——编码——检查,翻译——测试/调试- 牛顿迭代法0.对给定正实数x和允许误差e,令变量y取任意正实数值,如:y = x;1.如果y*y与x足够接近,即 | y * y - x | < e,计算结束并把y作为结果;2.取z =(y + x...原创 2018-10-01 15:46:13 · 2492 阅读 · 3 评论 -
《数据结构与算法 python语言描述》学习笔记(二)————抽象数据类型和Python类
第一部分:学习内容概要抽象数据类型Python的类第二部分:学习笔记抽象数据类型 1.抽象数据类型(Abstract Data Type,ADT),通过一套接口阐述说明这一程序部分的可用功能,但不不限制功能的实现方法。 2.抽象数据类型(ADT)的基本想法是把数据定义为抽象地集合,只为他们定义可用的合法操作,并不暴露其内部实现的具体细节,不论是其数据的表示细节还是操作的实现细...原创 2018-10-05 13:15:00 · 1457 阅读 · 0 评论 -
《数据结构和算法 python语言描述》学习笔记(三)————线性表
第一部分:内容概述线性表的概念和表的抽象数据类型顺序表的实现链接表链表的变形和操作表的应用第二部分:学习笔记线性表的概念和表的抽象数据类型 1. 在一个非空的线性表里,存在着唯一的一个首元素和唯一的一个尾元素(末元素)。除首元素之外,表的每个元素e都有且仅有一个前驱元素;除了尾元素之外的每个元素都有且仅有一个后继元素。 2. 线性表的操作 ① 首先,作为抽象...原创 2018-10-19 16:49:03 · 1272 阅读 · 0 评论 -
《数据结构与算法 python语言描述》学习笔记(四)————字符串
第一部分:学习内容概要字符集、字符串和字符串操作字符串的实现字符串匹配(子串查找)字符串匹配问题Python正则表达式第二部分:学习笔记字符集、字符串和字符串操作 1. 字符集就是有穷的一组字符构成的集合。 2. 字符序是字符集里的字符上定义的一种顺序 3. 字符串可以看做一类特殊的线性表,表中元素取自选定的字符集。 4. 字符串抽象数据类型ADT Stri...原创 2018-10-24 15:15:59 · 607 阅读 · 0 评论 -
《数据结构与算法 python语言描述》学习笔记(五)———— 栈和队列
第一部分:学习内容概要概述栈:概念和实现栈的应用队列迷宫求解和状态空间搜索第二部分:学习笔记概述 1. 栈是保证元素后进先出(Last In First On,LIFO) 2. 队列是保证元素先进先出(First In First On, FIFO) 3. 应用环境: 计算过程分为一些顺序进行的步骤(任何复杂一点的计算都是这样) 计算中执行的某些步...原创 2018-11-15 17:28:52 · 492 阅读 · 0 评论