Yiie-CSDN博客

原创 Spring Boot 2.x+Layui+Mybatis+MySQL+Shiro+Redis+JWT+Swagger2+thymeleaf+druid后台权限管理系统2.0全新升级版

BgMan后台权限管理系统后台权限管理系统(Background Management)，觉得BgMan好听，就叫BgMan了。BgMan是一款简单高效的后台加权限管理系统，使用Spring Boot 2.x，Shiro和Layui构建 ,权限控制的方式为 RBAC，代码通熟易，JWT（无状态token）过期自动刷新，数据全程 ajax 获取，封装 ajax 工具类、菜单无线层级展示，加入树形组...

2020-01-07 17:39:38 3982 12

原创 SSM + Layui实现的后台管理系统

适合于刚学习了SSM框架，想找项目练手的同学，那么本例非常适合你,希望能帮助有需要的初学者，不喜勿喷，另外有相关不足，希望大家可以指出，谢谢！使用的技术SSM + Layui + Maven + AjaxLayui 是一款前端 UI 框架，遵循原生 HTML/CSS/JS 的书写与组织形式。其外在极简，却又不失饱满的内在，体积轻盈，组件丰盈，非常适合界面的快速开发。准确地说，她更多是...

2019-08-22 13:11:44 15090 29

原创 MapReduce原理（4）：图解 MapReduce中的 map()、shuffle()、reduce()的过程

当属于该reducer的map输出全部拷贝完成，则会在reducer上生成多个文件（如果拖取的所有map数据总量都没有内存缓冲区，则数据就只存在于内存中），这时开始执行合并操作，即磁盘到磁盘merge，Map的输出数据已经是有序的，Merge进行一次合并排序，所谓Reduce端的sort过程就是这个合并的过程。一般Reduce是一边copy一边sort，即copy和sort两个阶段是重...

2019-09-06 08:52:46 1963 1

原创 MapReduce原理（2）：普通文件、HDFS中的块block、切片splits区别

为了避免对文件、块、片理解有误区，解释一下三者关系1、一个文件从本地被上传到HDFS时，会进行分块，块大小默认是64M，同时会产生副本数保存在其他datanode上，默认副本数是3个，课通过配置文件修改2、要进行分片时，先把块从分布式文件系统中取出，调用getSplits(),通过分片算法对块进行分片，片的单位大小就是块的大小，64M3、block是在物理内存上进行存储的，是真实存储在hd...

2019-09-05 19:31:31 4262 4

原创 MapReduce原理（3）： MapReduce的分片机制 getSplits()方法源码解析

1、getSplits()方法在 FileInputFormat.addInputPath(job, path)中 /** * Generate the list of files and make them into FileSplits. * @param job the job context * @throws IOException */ public ...

2019-09-05 19:25:07 2103

原创 MapReduce原理（1）：Job从创建到提交到集群获取所需资源进行运行的过程源码解析 + 图解

1、Job的创建Job类中重载了3个getInstance(),这个方法是唯一暴露给外部的方法Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://192.168.116.117:8020/");Job job = Job.getInstance(conf,"wordCount");Job中g...

2019-09-05 09:47:01 1979 2

原创通过Java API获取hadoop高可用下所有集群信息

首先通过Configuration把集群的一些必要信息配置好直接上代码Configuration conf=new Configuration(); conf.set("fs.defaultFS", "hdfs://yiie"); conf.set("dfs.nameservices","yiie"); conf.set("dfs.ha.name...

2019-09-02 14:58:28 2787

原创解决启动hadoop集群时用jps查看datanode已经启动，但是在webui，x.x.x.x:50070上查看不到datanode的问题

解决启动hadoop集群时用jps查看datanode已经启动，但是在webui，x.x.x.x:50070上查看不到datanode的问题用jps查看此时datanode已经启动[root@hadoop02 name]# jps12858 DataNode12987 NodeManager13196 Jps此时进入x.x.x.x:50070查看节点情况，只有01和03启动，02没有...

2019-08-26 21:01:38 5716 2

Yiie 的博客