weixin_42272887的博客

转载 MySQL 三万字精华总结 + 面试100 问，吊打面试官绰绰有余（收藏系列）

感谢作者，原文链接](https://mp.weixin.qq.com/s/MCFHNOQnTtJ6MGVjM3DP4A)客户端请求 —> 连接器（验证用户身份，给予权限） —> 查询缓存（存在缓存则直接返回，不存在则执行后续操作） —> 分析器（对SQL进行词法分析和语法分析操作） —> 优化器（主要对执行的sql优化选择最优的执行方案方法） —> 执行器（执行时会先看用户是否有执行权限，有才去使用这个引擎提供的接口） —> 去引擎层获取数据返回（如果开启查询

原创 节点总结

*QuorumPeerMain**是zookeeper集群的启动入口类，是用来加载配置启动QuorumPeer线程的。QuorumPeer， 谷歌翻译quorum是法定人数，定额的意思， peer是对等的意思，那么QuorumPeer中quorum代表的意思就是每个zookeeper集群启动的时候集群中zookeeper服务数量就已经确定了，zookeeper是基于paxos算法实现的，那是一个唯一的分布式集群一致性算法，在zookeeper中将这一算法演绎为集群分布式协调可持续服务。在每个zoo...

原创 mr工作流程

看懂这图先来理解一下，里面的几个名词：1：run

原创 MapReduce进程

MapReduce进程一个完整的MapReduce程序在分布式运行时有三 类实例进程 :1 ) MrAppMaster :负责整个程序的过程调度及状态协调。2 ) MapTask :负责Map阶段的整个数据处理流程。3 ) ReduceTask :负责Reduce阶段的整个数据处理流程。...

原创 MapTask和reduceTask过程

转载 MapReduce编程job概念

在Hadoop中，每个MapReduce任务都被初始化为一个job,每个job又可分为两个阶段:map阶段和reduce阶段。这两个阶段分别用两个函数来表示。Map函数接收一个<key,value>形式的输入，然后同样产生一个<key,value>形式的中间输出，Hadoop会负责将所有具有相同中间key值的value集合在一起传递给reduce函数，reduce函数接收一个如<key,(list of values)>形式的输入，然后对这个value集合进行...

原创 Validator Directory Flow reports errors: job4 cannot find dependency job3

Validator Directory Flow reports errors:job4 cannot find dependency job3这个问题就是说找不到依赖job3，找了好久才发现首先先检查格式和空格以上都没问题的话，再以下错误，检查一下新建文件的名字跟后缀和标点符号，一般很细微，看不出来ErrorFlow job3 not found.最后检查发现，是新建文件的标点符号出了问题，粗心了...

转载 Hive你了解多少

导读：对于一个事物的认识，存在几种情况1.没有接触，不知道这个事物是什么，所以不会产生任何问题。2.接触了，但是不知道他是什么，反正我每天都在用。3.有一定的了解，不够透彻。那么hive，1.我们对它了解多少?2.它到底是什么?3.hive和hadoop是什么关系?扩展：hbase和hive是什么关系?Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。那么，到底什么是Hive，我们先看看Hive官网Wiki是如何介绍Hive的(htt

原创 一图搞定数据库与数据仓库的区别

转载 很实用的Transfomation算子举例

Java版本@SuppressWarnings(value = {"unused"})public class TransformationOperation { public static void main(String[] args) {// map();// filter();// flatMap();// groupByKey();// reduceByKey();// sortByKey();//

原创 java里的数组和集合的区别

java里的数组和集合的区别是什么？数组中存储的是同一类型的元素，可以存储基本数据类型值。集合存储的都是对象，而且对象的类型可以不一致。如我的2个封装类Person,Animal：用数组保存时应该这样：Person[] p = new Person[100];Animal[] a = new Animal[100];我们能明确的知道我们保存的是是什么,不同的类要分开保存，并且在保存前就要知道我要保存的数量用集合类来保存的话是这样：Person person = new Person();

原创 简单理解形参与实参的区别

形参出现在函数定义中，在整个函数体内都可以使用， 离开该函数则不能使用。public void fun(int a,int b);这里的a和b就是形参。实参就好比是变量的赋值，给参数赋予具体使用的值。当函数在调用的时候：fun(1,2)；这时候的1和2就是实参。...

原创 一图明白：flatMap和map的区别

一图明白：flatMap和map的区别一map:对每一个元素进行操作比如：（“a”,“b”,“c”,“d”) 需要对它加个”#“ ，就是每个元素都加在后面加个”#“ （“a#”,“b#”,“c#”,“d#”）二flatMp:简单来说就是切分单词的，把一个单词分成两份...

原创 hasMoreElements问题

while (headerNames.hasMoreElements()){// 如果有下一个元素，那么就用nextElement()取出下一个元素。// 一般是枚举中有这个。连续调用 nextElement 方法将返回一系列与 hasmoretokens 方法相同的值的连续元素。String key = headerNames.nextElement();System.out.pr...

原创 Servlet的生命周期(由创建到销毁的过程)

Servlet的生命周期:(由创建到销毁的过程) 结论：(正常情况下) **第一次被 请求时创建，只创建一次 服务器关闭时就销毁** 验证： init方法 :servlet被初始化创建的时候调用 service方...

原创 Servlet的使用步奏（附带图片）

使用：1、 创建普通的java 类并继承HttpServlet解释：怎么跟前端联系，就是让该类继承HttpServlet，让该类具备一定的规则2、 覆写service方法解释：服务器在收到客户端的请求之后，由服务 器创建Requeset对像和response对像/获取请求参数3、 在service方法中书写逻辑代码即可解释：这步就是程序员的工作了，编写处理请求的业务逻辑代码（增...

原创 MVC中controller，service，dao，mapper，model层的原理图作用

原创 java中entity为什么要与数据库保持一致

在网上搜索看了那么多，总结得出：只需要记住就是为了让程序员在对数据库操作的时候不需要再在数据库里写SQL语句 ，在idea里写就可以完成操作

原创 java 中的单引号与双引号

单引号引的数据 是char类型的，定义时使用用单引号表示，只能存储一个字符。（如：字母，汉字等）双引号引的数据 是String类型的，定义时使用双引号表示，可以存储0个或多个字符,其实string类型就是char类型的数组表现形式。tip:单就是一个的意思，双就是一串的意思，最好记了·欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学...

原创 java中的输出一个定义过的变量system.out.println（“a=“+a+”,b=“+b）为什么是两个加号

首先3个+号都是连接符号，非运算符号；这个句子输出是 :a=a(看a怎么定义的) b=b(看b怎么定义的) 注意：a,b都是一行显示的;再举例：system.out.println（“a=“+a+ ”b=”+b+ ”c="+c ）；这个句子输出是 :a=a(看a怎么定义的) b=b(看b怎么定义的) c=c(看c怎么定义的) ;也就是+a+,+b+的+号是连接a后b的前后字符串...