- 博客(20)
- 收藏
- 关注
RSS订阅原创 Kafka架构
Kafka架构1）Produce：消息生产者，就是向kafka broker发消息的客户端；2）Consumer：消息消费者，向kafka broker去消息的客户端；3）Topic：可以理解为一个队列（就是同一个业务的数据放在一个topic下）；4）ConsumerGroup（CG）：就是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个co...
2019-11-28 14:14:17
196
原创 Hbase原理
读流程1）.Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；2）根据namespace，表名和rowkey在meta表中找到对应的region信息；3）找到这个region对应的regionserver；4）查找对应的region；5）先从MemStore找数据，如果没有，再带BlockC...
2019-11-28 11:12:53
156
原创 随笔
1.简述对zookeeper的理解Zookeeper=文件系统（可以在zk上存储数据）+通知机制2.简述zookeeper的znode4种节点类型（1）持久化目录节点（2）持久化顺序编号目录及节点（3）临时目录节点（4）临时顺序编号目录节点3.简述hbase的特点（1）海量存储（2）列式存储（3）极易扩展（4）高并发（5）稀疏4.简述hbase中zookeeper的3个作...
2019-11-23 10:08:51
168
原创 MapReduce优化方法
MapReduce优化方法主要从六个方面考虑：数据输入，Map阶段，IO传输，数据倾斜问题和常用的调优参数。数据输入（1）合并小文件：在执行mr任务前将小文件进行合并，大量的小文件会产生大量的map任务，大量节点资源被占用，从而导致mr整体运行较慢。（2）采用CombineTextInputFormat来作为输入，解决输入端大量小文件场景。Map阶段（1）减少溢写（spill）次数:通过...
2019-11-22 20:46:52
430
原创 DataNode工作机制
DataNode工作机制1)一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，数据块的效验以及时间戳。2）DataNode启动后向NameNOde注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某...
2019-11-22 16:29:00
181
原创 NameNode和SecondaryNameNode的工作机制
第一阶段：NameNode启动（1）第一次启动NameNode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）NameNode记录操作日志，更新滚动日志。（4）NameNode在内存中对数据进行增删改查。第二阶段：Secondary NameNode工作（1）Secondary Name...
2019-11-22 16:21:20
189
原创 HDFS的读，写数据流程
HDFS写数据流程1)客户端通过DIstribute FileSystem模块向NameNOde请求上传文件，NameNode检查目标文件是否已经上传，父目录是否存在。2）NameNode返回是否可以上传。3）客户端请求第一个Block上传到哪几个datanode服务器上。4）NameNode返回3个datanode节点，分别为dn1，dn2，dn3.5）客户端通过FSDataOuto...
2019-11-22 16:12:22
188
原创 随笔
1.hive的计算是通过什么实现的hive是搭建在Hadoop集群上的一个SQL引擎，它将SQL语句转化成了MapReduce程序在Hadoop上运行，所以hive的计算引擎是MapReduce，底层存储采用的是HDFS.2.为什么不用Java的序列化SerializableJava的序列化是一个重量的序列化框架（Serializable），一个对象别序列化后，会附带很多额外的信息（各种效验...
2019-11-16 15:43:18
197
原创 随笔
1.查看文件内容有哪些命令可以使用？vi文件名 #编辑方式查看，可修改cat文件名 #显示全部文件内容more文件名 #分页显示文件内容less文件名 #与more相似，更好的是可以往前翻页tail文件名 #仅查看尾部，还可以指定行数head文件名 #仅查看头部，还可以指定行数2.HDFS为什么不太适合小文件的存储？不能高效的对大量的小数据进行存储（大量的小文件会很快沾满nameN...
2019-11-16 15:22:33
151
原创 win10操作系统环境下快捷键
置顶windows10操作系统环境下：1、win+ctrl+D 创建虚拟桌面2、win+ctrl+左右箭头 切换桌面win+ctrl+F4 关闭当前虚拟桌面(按win+tab 可以通过鼠标操作虚拟桌面的创建、切换与删除)3、win+M 全部窗口最小化(win+D 可在最小化全部窗口与恢复全部窗口状态 间自由切换4、win+数字 打开任务栏中从左到右的应用，数字代表该程序的位置5、w...
2019-11-08 15:27:31
311
原创 MapReduce核心思想
MapReduce核心思想：1）分布式的运算程序往往需要分成至少2个阶段2）第一个阶段的maptask并发实例，完全并行运行，互不相干。3）第二个阶段的reducetask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出。4）MapReduce编程模型只能包含一个map阶段和一个reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个mapreduce程...
2019-11-02 09:59:07
478
原创 随笔
1.简述redis的数据类型有哪些，以及各自的使用场景。字符串（string），主要做缓存；哈希（hash），做缓存；列表（list），模拟栈和队列；集合（set），可以做抽奖案例，去重；有序列表（sorted set）做排名；2.Spring的AOP中5种不同时机的增强（即通知类型）是什么，简要解释；before：前置增强，在方法开始时执行的操作after-returning：后置增强，...
2019-11-02 09:45:58
194
原创 MapReduce优缺点
优点：1．MapReduce 易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。就是因为这个特点使得MapReduce编程变得非常流行。2．良好的扩展性当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。3．高容错性MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错...
2019-10-29 22:32:45
2835
原创 随笔
1.springboot与spring的区别？java在集成spring等框架需要作出大量的配置，开发效率低，繁琐，所以官方提出spring boot的核心思想：习惯优于配置。可以快速创建开发基于spring框架的项目。或者支持可以不用或很少的spring配置即可2.spring SpringMvc Spring Boot SpringCloud中常用的注解有哪些？@Controller控制...
2019-10-26 15:02:54
159
原创 随笔
1.SpringMvc中，控制器中的处理方法的返回值有哪些？返回值可以有很多类型，有String，ModelAndView。ModelAndView类把视图和数据都合并在一起的，但一般使用String比较好。2.springmvc中，如果前台有很多个参数传入，并且这些参数都是一个对象的，name怎么样快速得到这个对象？直接在方法中声明这个对象，SpringMvc就自动会把属性赋值到这个对象里...
2019-10-18 10:32:09
110
原创 随笔
1.Spring的AOP理解？AOP，一般称为面向切面，作为面向对象的一种补充，用于将那些与业务无关，但却对多个对象产生影响的公共行为和逻辑，抽取并封装为一个可重用模块，这个模块被命名为“切面（Aspect）”，减少系统中的重复代码，降低了模块间的耦合度，同时提高了系统的可维护性。SpringAOP使用的动态代理实现2.Spring事务的隔离级别有几种？...
2019-10-18 09:23:56
183
原创 随笔
1.ResultMao和ResultType的差别两者都是表示查询结果集与java对象之间的一种关系，处理查询结果集映射到java对象。resultMap：表示将查询结果集中的列——映射到bean对象的各个属性。resultType：表示的是bean中的对象类，此时可以省略到resultMap标签的映射，但是必须保证查询结果集中的属性和bean对象类中的属性是一一对应的，此时大小写不敏感，但...
2019-10-17 21:35:12
267
原创 SQL语言分类
数据定义语言：DDL(Data Definition Language)， 用来定义数据库对象，数据库表关键字：create，alter，drop等结构上的操作数据操作语言：DML(Data Manipulation Language)， 用来对数据库中的表记录进行更新关键字：insert，delete，update 不涉及结构的变化，但是数据会发生变化数据查询语言：DQL(Data Q...
2019-08-17 09:16:25
173
原创 Override和Overload的区别
Override 方法重写，子类中定义和父类相同的方法，不能缩小父类的访问权限，不能抛出更多异常。Overload 方法重载，在同一个类中，方法名相同，参数列表不同的方法，与返回值类型无关。...
2019-08-09 19:17:26
223
原创 final，finally，finalize的区别
final关键字，修饰的属性不能重新赋值，修饰的方法不能被子类覆盖，修饰的类不能继承。finally异常处理时的代码块，表示必须执行的代码。常见结构：try{}catch(){}finally或try{}finally{}finalize方法，Object类的方法，子类可以重写。垃圾回收某个对象时，在回收前会自动调用的方法。...
2019-08-09 19:11:36
172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人