2019年03月_辣条好辣

12月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载 JobTracker和TaskTracker详解

一概述：(1)Hadoop MapReduce采用Master/Slave结构。*Master：是整个集群的唯一的全局管理者，功能包括：作业管理、状态监控和任务调度等，即MapReduce中的JobTracker。*Slave：负责任务的执行和任务状态的回报，即MapReduce中的TaskTracker。二 JobTracker剖析：(1)概述：JobTracker是一个后台服务进程...

2019-03-13 11:07:39 22557 2

原创 spark partition 和HDFS的block

hdfs-block位于存储空间；spark-partition位于计算空间；hdfs-block的大小是固定的；spark-partition大小是不固定的；hdfs-block是有冗余的、不会轻易丢失；spark-partition（RDD）没有冗余设计、丢失之后重新计算得到；注意：textFile方法底层封装的是读取MR读取文件的方式，读取文件之前先split，默认split大...

2019-03-11 20:46:05 813

原创 Hadoop之mapreduce

JobTracker和TaskTracker一概述：(1)Hadoop MapReduce采用Master/Slave结构。*Master：是整个集群的唯一的全局管理者，功能包括：作业管理、状态监控和任务调度等，即MapReduce中的JobTracker。*Slave：负责任务的执行和任务状态的回报，即MapReduce中的TaskTracker。二 JobTracker剖析：概述...

2019-03-07 15:22:45 2181

原创 Hadoop之HDFS

Hadoop简介http://hadoop.apache.org分布式存储系统HDFS （Hadoop Distributed File System ）POSIX• 分布式存储系统• 提供了高可靠性、高扩展性和高吞吐率的数据存储服务-分布式计算框架MapReduce• 分布式计算框架（计算向数据移动）• 具有易于编程、高容错性和高扩展性等优点-分布式资源管理框架YARN...

2019-03-07 15:16:59 180

spring boot.rar

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。

2020-04-12

大数据资料（Hadoop、spark，hbase、hive、hue等）

大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2020-03-08

1. 能够理解ElasticSearch的作用以及实际生产环境下的应用场景 2. 完成ElasticSearch服务安装--6.8，7 3. 理解ElasticSearch的相关概念以及对数据的存储方式 4. 能够使用Postman、kibana等工具完成ElasticSearch初步数据操作 5. 理解ElasticSearch工作原理（索引、analysis、mapping等） 6. 能够使用ElasticSearch集成IK分词器 7. 完成对ElasticSearch的索引和文档的CRUD操作 8. Request Body Search和Search API(URI)学习 9. 了解ElasticSearch集群优势 10. 完成ElasticSearch集群搭建及集群监控 11. 理解ElasticSearch集群内部运行机制 12. 了解Logstash使用方法 13. 完成Logstash安装以及

2020-02-29