大数据量批处理场景处理 主要参考Map/reduce处理步骤,将批处理逻辑划分为:material()获取数据、processing()取数结果处理,两个步骤。取数和处理结果两个步骤之间采用Stream进行数据传输。processing()取数结果处理,返回false。表示处理过程中遇到问题需要暂停后续的迭代处理逻辑。material()获取数据,返回null,表示目标任务数据已经处理完成。task任务实体构建好之后,交由管理工具自动循环迭代处理目标任务。
feign.FeignException$FeignClientException: [411 Length Required] during [GET] 问题解决方案记录 部署到实际环境中,需要通过proxy代理后才能对外访问,经过proxy这一层转发后,出现异常feign.FeignException$FeignClientException: [411 Length Required] during [GET]问题处理过程1,先进行了 Content-Length属性设置。处理结果:未解决,还是 411 Length Required。设置 Content-Length属性的同时,移除body数据。上述写法,在本地调试时,访问正常。
linux服务运维记录 记录一次生产运维记录。 背景:由于生产环境管控严格,每次上线封板,除了已提交的封板包之外,不能在额外上传新的包,因此在生产环境发现致命bug时不能重新提交脚本,只能另辟蹊径直接linux上面撸代码了,现场编译、打包、部署。 过程如下:# 记得源文件备份、记得源文件备份、记得源文件备份# 创建编译目录mkdir xxx_jar # 将需要重新编译的jar包转拷贝到编译目录cp -r **.jar ./xxx_jar # 编译文件解压cd ...
redis分布式锁实现 import lombok.extern.slf4j.Slf4j;import org.springframework.dao.DataAccessException;import org.springframework.data.redis.connection.RedisConnection;import org.springframework.data.redis.core.Redi...
Java多线程并发最佳实践 编写并发代码是比较难,尽管Java语言提供了许多同步和并发支持,但是最终写出没有Bug的Java并发代码还是需要依靠个人的勤奋与专业知识。Java多线程并发最佳实践是一组实践的好点子,有助于你快速开发出优质的并发代码。如果你是新手,需要熟悉一些基本概念,再来阅读本文会更有针对性。1. 使用本地变量应该总是使用本地变量,而不是创建一个类或实例变量,通常情况下,开发人员使用对象实例作为变量可以节省内存...
贝叶斯公式(机器学习)说明 文章地址:https://mp.weixin.qq.com/s?__biz=MzI0ODcxODk5OA==&mid=2247492071&idx=2&sn=0159e6b318f7f90b6692f2228e5fa310
正则表达式使用 数字:[0-9]字母:[A-Za-z]特殊字符:_、-、@、#、+ 等等几位数字(10位):\\d{10}汉字:^[\u4e00-\u9fa5]{0,}$ 混合使用:前2位是字母,后面是数字: [A-Za-z][A-Za-z][0-9]*前2位是字母,后面是10位数字:[A-Za-z][A-Za-z]\\d{10}汉字和字母混合:^[\u4E00-\
jQuery ajax $.get或$.post 实现timeout超时设置的方法 var timeout=setTimeout(function(){ //超时啦,干点什么 }, 5000 //超时时间,考虑到网络问题,5秒还是比较合理的);$.post(url,function(data){ if(timeout){ //清除定时器 clearTimeout(timeout); timeout=null; } //该干嘛干嘛})
关于JS访问文件服务器的HTTP文件地址实现文件下载 开发过程中遇到一个需求变动,主管要求网站在提供文件下载的时候不要使用 服务写流的形式(out.write)进行文件下载。需要改造成将文件生成到 文件服务器路径下,然后以http的形式直接进行文件访问、下载。 我想这个访问http地址显示文件的方式,大家应该都回使用到,比如:需要加载远程图片时。而现在需要实现的是文件下载... (需求:下载文件类型为PDF文件) 刚开始还以
Java html转PDF 在公司接到一个任务,需要有HTML和PDF两套模板,进行功能实现。于是我就到网上搜索资料,看看是否能够html转PDF。 果然搜到了很多案例,当然很多一样的啦。这里我将处理demo时遇到的问题和解决方案都大概说下吧!下面我下贴出demo:public static boolean convertHtmlToPdf(String inputFile, String outputFil
JAVA MemCache 史无前例的详细讲解【转】 Memcach什么是Memcache Memcache集群环境下缓存解决方案 Memcache是一个高性能的分布式的内存对象缓存系统,通过在内存里维护一个统一的巨大的hash表,它能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。简单的说就是将数据调用到内存中,然后从内存中读取,从而大大提高读取速度。 Memcache是danga的一个项目
MySQL索引 本文转载至:http://www.cnblogs.com/mailingfeng/archive/2012/09/26/2704344.html对于任何DBMS,索引都是进行优化的最主要的因素。对于少量的数据,没有合适的索引影响不是很大,但是,当随着数据量的增加,性能会急剧下降。如果对多列进行索引(组合索引),列的顺序非常重要,MySQL仅能对索引最左边的前缀进行有效的查找。例
使用 CXF 做 webservice 简单例子 准备: 新建工程 导入需要的jar 包: 依赖的包: commons-logging-1.1.jar geronimo-activation_1.1_spec-1.0-M1.jar (or Su
java调用linux脚本 这2天接到任务,要做个调用 Linux脚本 .sh 的方法供开发组使用,在捣鼓了1天时间后出来了下面的版本。 希望对各位有用。 public static void main(String[] args) { System.out.println("项目启动... "); String shpath="/home/shelltest/test.sh"; //程序路径
eclipse 添加server、svn 打开 Eclipse 的帮助内容,在搜索栏输入“Tomcat”,可以检索出“Adding the Apache Tomcat runtimes”,“Creating a Tomcat server”等条目 打开eclipse -> Help ->Install New Software选项, 点击Add按钮svn: http://subclipse.tigris.o
Ehcache 整合Spring 使用页面、对象缓存 Ehcache 整合Spring 使用页面、对象缓存——本文转载自 博客园 跳转链接Ehcache在很多项目中都出现过,用法也比较简单。一般的加些配置就可以了,而且Ehcache可以对页面、对象、数据进行缓存,同时支持集群/分布式缓存。如果整合Spring、Hibernate也非常的简单,Spring对Ehcache的支持也非常好。EHCache支持内存和磁盘的缓存,支持L