2019年06月_LaZY_apple

HDFS写入剖析：发请求：客户端向NameNode发出写文件请求。检查：检查是否已存在文件、检查权限。若通过检查，直接先将操作写入编辑日志（详情见NameNode文件目录），并返回输出流对象。切块：client端按128MB的块切分文件，形成数据队列。返回管线：NameNode挑选一组合适的DataNode（按照默认副本存放策略），称为一个管线。将其返回给客户端。默认副本存放策略：副...

2019-06-19 18:13:46 407

原创【大数据面试】MapReduce工作过程

参考链接：HTTPS://BLOG.CSDN.NET/QQ_25843323/ARTICLE/DETAILS/80020566HTTPS://ZHUANLAN.ZHIHU.COM/P/62249397HTTPS://BLOG.CSDN.NET/OLD_SIX_LAOBADAOLA/ARTICLE/DETAILS/78368286

2019-06-17 14:08:09 970

转载 Namenode如何保存文件信息Namenode如何查找文件

原文链接过程总览hdfs文件均存放在datanode上，namenode上不会存放文件。当客户上传一个文件后，namenode会先对文件作相应的处理（比如按照block大小进行分割）。这里主要讲述存放的一个整体过程以及如何快速的找到存放的节点位置信息。实现namenode的源码中有一个与文件系统存储和管理有关的关键类FSNameSystem，里面有以下的一些概念：INode: 用来存放文件...

2019-06-16 16:01:09 1827

原创 Secondary Namenode

Namenode的元数据 (目录中的文件)VERSION文件:包含运行hdfs的版本信息，其中重要属性blockpoolID：记录了一个Namenode管理的命名空间中的所有文件。编辑日志：客户端执行写操作，这些事务会记录到其中。映像文件（Fsimage）：包含整个文件系统所有的文件和目录，文件系统元数据的完整永久性检查点。Namenode和Secondary Namenode由于在Na...

2019-06-16 15:29:14 143

原创在Linux上查看Namenode的元数据

1.进入~目录2.进入hadoop目录3.进入dfs/name/current目录4.进入后即为元数据信息

2019-06-16 14:56:33 1273

原创 springboot整合freemarke FTL stack trace ("~" means nesting-related): - Failed at: #

问题：解决:在application.properties添加spring.freemarker.settings.classic_compatible=true一句即可原因：文件中的这个值为空详解：原文链接关于freemarker的classic_compatible属性网上资料很多的，不过大多数说的不是很全面。这里稍微补充一些。在freemarker中的空值的...

2019-06-13 16:57:42 39127 4

转载 IDEA使用git提交代码时去掉Code analysis代码分析的提示

原文链接默认情况下的git提交会出现执行代码分析的提示框实际上提交的前一步有选项可以去掉这个提示把"Perform code analysis" 和 "Check TODO" 复选框前面的勾去掉就好了. ...

2019-06-08 11:47:06 4173

原创 springboot配置启动后自动打开浏览器访问项目

Springboot里面有个ApplicationReadyEvent事件，该事件表示application应该初始化完成，可以准备接收请求。想要在启动后打开浏览器，可以将执行代码放到这个事件当中。/** * @author LaZY(李志一) * @create 2019-06-08 11:30 */@Configurationpublic class IndexConfig{ ...

2019-06-08 11:40:19 9413

转载 Mapper接口通过@Autowired注入，报错

在使用mybatis的代理进行开发时<bean class="org.mybatis.spring.mapper.MapperScannerConfigurer"> <property name="basePackage" value="...

2019-06-05 22:59:24 4956

原创 java.sql.SQLException: The server time zone value 'ÖÐ¹ú±ê×¼Ê±¼ä' is unrecognized or represents more

springboot项目mysql运行后遇到问题：java.sql.SQLException: The server time zone value ‘ÖÐ¹ú±ê×¼Ê±¼ä’ is unrecognized or represents more than one time zone. You must configure either the server or JDBC driver (v...

2019-06-05 22:51:33 1171 2

LaZY的博客

原创【大数据面试】最爱问的HDFS面试（简单又详细，个人整理）

原创【大数据面试】最爱问的MapReduce面试（简单又详细，个人整理）

原创【大数据面试】最爱问的spark面试（简单又详细，个人整理）

原创【大数据面试】最爱问的hive面试（简单又详细，个人整理）

原创【大数据面试】最爱问的flume面试（简单又详细，个人整理）

原创【大数据面试】最爱问的Kafka面试（简单又详细，个人整理）

原创【大数据面试】最爱问的Hbase面试（简单又详细，个人整理）

原创【大数据面试】HDFS读写原理