卑微前端汪-CSDN博客

原创 Flume

简介概述Flume是Cloudera公司开发的后来贡献给了Apache的一套用于进行日志的收集(collecting)、汇聚(aggregating)和传输(movlng)的机制在大数据中，有超过70%的数据来源是日志 - 日志是大数据的基石Flume版本：Flume0.X：Flume-og，配置结构复杂，并且对分布式支持不好Flume1.X：Flume-ng，配置结构进行简化，并且很好的支持分布式基本概念Event：事件Flume会将收集到的日志封装成Event对象，一

2022-03-30 18:02:16 1946

原创 YARN.

概述YARN(Yet Another Resource Negotiator，迄今另一个资源调度器)是Hadoop2.x中提供的一套用于进行集群的资源管理和任务调度的机制也正是因为YARN的出现，导致Hadoop2.x和Hadoop1.x不兼容。YARN是Hadoop2.x最重要的特性之一YARN的出现原因内部原因在Hadoop1.x中，MapReduce的主节点是JobTracker，作为主节点的JobTracker在Hadoop1.x中只允许存在1个，容易出现单点故障在Hadoop1.

2022-03-08 23:19:18 1600

原创 MapReduce

简介概述MapReduce是Hadoop提供的一套分布式计算框架。从Hadoop2.0开始，MapReduce就是一个纯粹的计算框架MapReduce是Doug Cutting根据Google的The Google MapReduce来仿照实现的MapReduce会将整个计算过程拆分为2个阶段：Map(映射)阶段和Reduce(规约)阶段MapReduce在刚开始的时候，会对文件进行切片(Split)处理。切分完成之后，每一个Split会交给一个单独的MapTask来处理Split和Block

2022-03-08 21:50:35 1391

原创 HDFS.

基本概念Block1.Block是HDFS中数据存储的基本形式,即在HDFS中,所有数据都是以Block形式来存储2.从Hadoop2.x开始,如果不指定,那么Block的默认大小是134217728B(128M)。可以通过dfs.blocksize来修改,单位是字节3.如果一个文件不足一个Block的默认大小,那么这个文件是多大,所对应的Block就是多大。例如一个文件是50M,上传到HDFS上之后对应的Block就是50M4.HDFS会为每一个Block分配一个递增的编号,称之为BlockId

2022-03-04 19:02:52 1634

原创 Hadoop

大数据简介6V特点Volume：数据体量打。在中小型企业中，数据量一般在TB级别；大型企业中，数据量在PB级别Variety：数据的来源、种类和样式多来源：数据库、爬虫、网页埋点、手动录入等种类：文本、图片、音频、视频、流媒体等样式：结构化数据、半结构化数据、非结构化数据Velocity：数据的增长速度越来越快。随着网络的发展，数据的产生、传播的增长速度逐渐变快。根据专家们的预测，全球的总数据量以后会以每3-5年翻一番的速度增长Value：数据的价值密度越来越低。价值密码指的是需要的

2022-03-01 14:35:19 734 1

原创 ZooKeeper

ZooKeeper简介概述Zookeeper是Yahoo!(雅虎)公司开发的后来贡献给了Apache的一套用于进行分布式协调的机制Zookeeper提供了中心化服务 - 充当了注册中心：统一配置信息，统一命名，提供了分布式锁服务，提供了分布式组服务Zookeeper是仿照了Google的The Chubby Lock Servie来实现的安装单机安装关闭防火墙# 临时关闭systemctl stop firewalld# 永久关闭systemctl disable firew

2022-02-25 10:10:01 153

原创我的歪哥们之不要赖赖叽叽赔吧!

主人公:LLL技能顶烟: 每隔20分钟必须顶一根,要不就旱的不行,旱的不行就会吐口水吐口水: 生气时会主动触发此技能,长时间不吸烟也会触发赖: 每当他盯着你看就会想该让你赔点什么,当你想反驳的时候他会说:不要给我赖叽,赔!打枪: 穿越火线大神,一把杀五个稳定.娱乐打台球: 打过两三年台球有备而来且不讲武德常常混球吃猫: ⊙⊙段位抽烟界最高境界------烟囱可左右互搏同顶两支非常之强悍伪装藏匿伪装之术,世人口中所传半袖过头藏匿术...

2021-08-19 23:18:38 153 3

原创 JDK新特性

JDK 1.5静态导入1、写法：import staticjava.util.Arrays.;//导入的是Arrays这个类中的所以静态成员。import staticjava.lang.System.//导入了Ssytem类中所以静态成员。没加static导入的是类，加上static导入的全是某一个类中所以的静态成员。这样写在调用该类的静态方法时可以不用再写类名。如：Arrays.sort(数组);就可以直接写sort(数组);2、注意：当导入的两个类中有同名成员时，需要在成员前加上相应的类

2021-08-17 23:20:51 58

原创 JWT技术分析及应用

1. 系统会话状态1.1 会话状态客户端与服务端通讯过程中产生的状态信息(类似会议记录),称之为会话状态.1.2 会话状态存储方式客户端浏览器与服务器端通讯时使用的是http协议,这个协议本身是无状态协议,也就是说通过此协议,无法存储会话状态,此时在服务端与客户端就采用一种Cookie与Session方式记录会话状态.1.3 有状态的会话技术分析Cookie 技术Cookie是由服务端创建但在客户端存储会话状态的一个对象,此对象分为两种类型,一种为会话Cookie,一种为持久Cookie,浏

2021-08-02 23:54:37 251

原创初识spring

Spring1. IoC控制反转IOC（Inversion of Control），控制反转。就是指将对象的创建，对象的存储(map)，对象的管理(依赖查找,依赖注入)交给了spring容器。1. 1xml配置IoC创建hello类package cn.tedu.pojopublic class Hello() { public void hi() { System.out.println("hi spring ioc"); }}创建spring-config.xml文件&l

2021-07-29 15:53:17 74 2

原创 Spring Security 安全框架应用

1. Spring Security 简介1.1 背景分析企业中数据是最重要的资源,对于这些数据而言,有些可以直接匿名访问,有些只能登录以后才能访问,还有一些你登录成功以后,权限不够也不能访问.总之这些规则都是保护系统资源不被破坏的一种手段.几乎每个系统中都需要这样的措施对数据(资源)进行保护.我们通常会通过软件技术对这样的业务进行具体的设计和实现.早期没有统一的标准,每个系统都有自己独立的设计实现,但是对于这个业务又是一个共性,后续市场上就基于共享做了具体的落地实现,例如SpringSecurity,

2021-07-28 15:37:28 275 1

孤鸿的博客