付玉超-CSDN博客

原创大批量数据分批式导出文件解决,避免OOM(多次查询多次导出形成一个文件)

大批量数据的导出,当数据量达到一定的量会导致内存被撑爆,出现 oom异常,基于问题实大批量数据分批的方式进行查询和导出代码实现package com.ly.service;import com.ly.helper.BatchWriteFileUtils;import com.ly.helper.BeanUtils;import com.ly.vo.rs...

2019-11-08 16:52:02 2106 1

原创 hadoop-hdfs的基本操作

1.创建文件目录bin/hadoop fs -mkdir -p 路径2.上传文件bin/hadoop fs -pu 要上传的文件上传到的位置3.查询文件内容bin/hadoop fs -cat 文件目录4.下载bin/hadoop fs -get 下载文件目录下载到的文件地址5.删除文件bin/hadoop fs -rm -r 删除的目录...

2019-02-28 16:30:34 191

原创 MapReduce 基本

MapReduce将计算分为Map和Reduce1.Map:并行处理输入数据2,reduce对Map处理的结果进行汇总

2019-02-14 19:26:48 174 2

原创 hadoop YARN架构

1.ResourceManager(RM):处理客户请求,启动/监控applicationMaster,监控NodeManager,资源分配和调度2.NodeManager:单个节点上的资源管理,处理来自ResourceManager的命令,处理来自ApplicationMaster的命令3.ApplicaltionMaster:数据切分,为应用程序申请资源,并分配给内部任务,任务监控和容...

2019-02-14 19:21:25 226

原创 hadoop架构

1.hadoop hdfs:高可靠,高吞吐量的分布式文件系统2.hadoop mapReduce:分布式离线并行计算框架3.hadoop yarn:作业调度和集群资源的管理4.hadoop Common:支持其他模块的工具模块...

2019-02-14 19:14:18 272 1

原创 hdfs的基本架构

1.nameNode:存储文件的元数据,如文件名和文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等,2.DataNode:在本地文件系统存储文件块数据,以及块数据的校验3.Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间,获取HDFS元数据的快照 ...

2019-02-14 19:10:01 312

原创为什么要序列化,什么是序列化

为什么要序列化一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机什么是序列化? 序列化就是把内存中的对象,转换成字节序列,(或者其他的数据传输协议),便与存储(持久化),和网络传输反序列化就是将收到字节序列（或其他数据传输协议...

2019-02-14 17:31:14 191

原创 @CacheEvict只能单一清除的扩展 -模糊-正则清除多条缓存解决

1.@CacheEvic(value="xx",key="xxx")只能单一删除,但是 @Cacheable(value = "autocms", key = "#root.targetClass+'.'+#root.method.name+'.'+#p0+'.'+#p1") public <T> PageInfo<T> getActivityBySho

2018-09-14 17:56:47 13697 7

原创 Getting NoSuchMethodError:javax.servlet.ServletContext.getVirtualServerName() 解决

1.首先看一下是不是有servlet.api包的冲突,如果有解决冲突2.如果一没有解决问题,看一下的ServletContext接口有没有getVirtualServerName()方法如果没有该方法需要升级你的servlet.api包,3.如果出现包冲突和没有方法都出现,建议去掉隐式引用的包,显示在pom.xml中进行引用 ...

2018-09-13 19:12:46 1622 1

原创批量修改指定文件夹及其子文件下所有文件的名字

import java.io.File;/** * 越努力,越幸运 * * Create by fycstart 2018/4/8 21:32 * email : fycstart@126.com * */public class ChangeName { static int count = 0; static boolean isShowDir = fa...

2018-08-28 10:18:31 8383 1

原创 aop代理的代理方式补偿

默认使用jdk代理 public @interface EnableAspectJAutoProxy { boolean proxyTargetClass() default false; boolean exposeProxy() default false;}根据proxyTargetClassfalse代表为jdk代理,true代表为...

2018-08-03 19:44:16 273 1

原创 Spring事务结合多数据源切换

首先是一个问题,数据源什么时候被确认的答:在调用dao层的方法的时候被确认的当配置事务的时候,事务需要生成代理类,而事务的代理类的生成需要被被代理类和一个数据源, 所以在调用service层方法的时候,就确定了数据源也就是说在配置事务的时候只能在调用service层方法之前之前切换数据源

2017-12-14 18:24:52 752

原创浅谈Spring的事务配置注意点

直接上干货配置事务需要 1.事务管理器 2.配置事务详情 3.配置aop代理注意点一: 在Controlle层注入Service层的时候,在不配置事务的前提下可以使用service接口和service实现类都可以进行注入在配置事务的前提下,如果还

2017-12-14 18:15:36 232

fycstart的博客