- 博客(8)
- 收藏
- 关注
原创 Spring Boot 2.x+Layui+Mybatis+MySQL+Shiro+Redis+JWT+Swagger2+thymeleaf+druid后台权限管理系统2.0全新升级版
BgMan后台权限管理系统后台权限管理系统(Background Management),觉得BgMan好听,就叫BgMan了。BgMan是一款简单高效的后台加权限管理系统,使用Spring Boot 2.x,Shiro和Layui构建 ,权限控制的方式为 RBAC,代码通熟易,JWT(无状态token)过期自动刷新,数据全程 ajax 获取,封装 ajax 工具类、菜单无线层级展示,加入树形组...
2020-01-07 17:39:38 4026 12
原创 SSM + Layui实现的后台管理系统
适合于刚学习了SSM框架,想找项目练手的同学,那么本例非常适合你,希望能帮助有需要的初学者,不喜勿喷,另外有相关不足,希望大家可以指出,谢谢!使用的技术SSM + Layui + Maven + AjaxLayui 是一款前端 UI 框架,遵循原生 HTML/CSS/JS 的书写与组织形式。其外在极简,却又不失饱满的内在,体积轻盈,组件丰盈,非常适合界面的快速开发。准确地说,她更多是...
2019-08-22 13:11:44 15223 29
原创 MapReduce原理(4):图解 MapReduce中的 map()、shuffle()、reduce()的过程
当属于该reducer的map输出全部拷贝完成,则会在reducer上生成多个文件(如果拖取的所有map数据总量都没有内存缓冲区,则数据就只存在于内存中),这时开始执行合并操作,即磁盘到磁盘merge,Map的输出数据已经是有序的,Merge进行一次合并排序,所谓Reduce端的sort过程就是这个合并的过程。一般Reduce是一边copy一边sort,即copy和sort两个阶段是重...
2019-09-06 08:52:46 1972 1
原创 MapReduce原理(2): 普通文件、HDFS中的块block、切片splits区别
为了避免对文件、块、片理解有误区,解释一下三者关系1、一个文件从本地被上传到HDFS时,会进行分块,块大小默认是64M,同时会产生副本数保存在其他datanode上,默认副本数是3个,课通过配置文件修改2、要进行分片时,先把块从分布式文件系统中取出,调用getSplits(),通过分片算法对块进行分片,片的单位大小就是块的大小,64M3、block是在物理内存上进行存储的,是真实存储在hd...
2019-09-05 19:31:31 4326 4
原创 MapReduce原理(3): MapReduce的分片机制 getSplits()方法 源码解析
1、getSplits()方法在 FileInputFormat.addInputPath(job, path)中 /** * Generate the list of files and make them into FileSplits. * @param job the job context * @throws IOException */ public ...
2019-09-05 19:25:07 2140
原创 MapReduce原理(1):Job从创建到提交到集群获取所需资源进行运行的过程 源码解析 + 图解
1、Job的创建Job类中重载了3个getInstance(),这个方法是唯一暴露给外部的方法Configuration conf = new Configuration();conf.set("fs.defaultFS", "hdfs://192.168.116.117:8020/");Job job = Job.getInstance(conf,"wordCount");Job中g...
2019-09-05 09:47:01 1985 2
原创 通过Java API获取hadoop高可用下所有集群信息
首先通过Configuration把集群的一些必要信息配置好直接上代码Configuration conf=new Configuration(); conf.set("fs.defaultFS", "hdfs://yiie"); conf.set("dfs.nameservices","yiie"); conf.set("dfs.ha.name...
2019-09-02 14:58:28 2807
原创 解决启动hadoop集群时用jps查看datanode已经启动,但是在webui,x.x.x.x:50070上查看不到datanode的问题
解决启动hadoop集群时用jps查看datanode已经启动,但是在webui,x.x.x.x:50070上查看不到datanode的问题用jps查看此时datanode已经启动[root@hadoop02 name]# jps12858 DataNode12987 NodeManager13196 Jps此时进入x.x.x.x:50070查看节点情况,只有01和03启动,02没有...
2019-08-26 21:01:38 5747 2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人