- 博客(6)
- 收藏
- 关注
RSS订阅原创 在spark开发环境中使用Standalone模式调试集群运行
spark程序开发在生成环境中测试一直是个麻烦的问题，本地测试因为数据量少，环境不同，也只能测出程序逻辑方面的问题，每次在Jar包丢到线上测试，然后修改在测试总是占用着很长的时间，那么spark能否在本地远程的进行集群的运行测试呢，答案显然是可以的。废话不多说，来看看怎么使用这个方法:（spark1.x） 1.开发工具中导入spark项目 2.设置远程Master：sparkCon
2017-03-13 12:31:18
476
原创 使用spring解决分布式事物
概述:提及分布式事务，各位可能都不陌生，在互联网流量如此大的今天，可以说网站的搭建再也不是一台服务器就能搞定的，大量的服务器集群和数据库集群为网站的高压力提供了支持，但是同时系统的复杂性，编码中的需要考虑的问题也越来越多，单点故障怎么办，网络通信延迟造成数据混乱怎么解决，这些都让当今的架构和编码难度成倍的增加，今天就和大家聊一聊分布式架构中常见的分布式事务问题—多源数据库事务的管理 我们借助
2017-02-14 16:30:31
2152
原创 读写分离在项目实践中的应用
读写分离在项目实践中的应用工程背景介绍：我们开发了一个万能接口，用户通过这个接口中传入数据，我们拿到数据进行复杂的逻辑处理然后再将数据各种匹配展示分发等操作，处理的流程相当庞大，接口中我们只保留了接收数据和返回一个本次请求的id的操作，其余操作都是异步到其他程序中处理的。 返回id的操作是需要和数据库进行两次连接，一次读库得到最新的id 然后把id更新到数据库。 项目
2017-02-10 11:35:13
4687
3
原创 Ehcache在工程实践中的应用
项目背景: 工程需要一个传输数据的接口，为了安全问题，我们加入一个获取令牌的接口，令牌是一个随机码，可设置失效时间，只有拿到令牌之后才可以带着令牌访问数据接口，我们通过比对令牌来确保调用者的合法性。这是一个很简单的web需求，我们只需要把返回的令牌存在一个地方然后等待再次调用的时候拿出来对比一下就ok，于是我想到了session，因为session可以帮你管理失效时间，其本身的调用又很方便，代
2016-10-31 15:52:51
638
2
原创 rabbitmq结合spring实现消息队列优先级
1.1项目背景：做一个灾情预警的消息平台，灾情检查系统需要向消息平台里面推送消息，这里是典型的异构系统的消息传递，我们需要选择一个中间件作为消息队列，调研分析了rabbitmq，zeromq，activemq，kafka等消息中间件，综合性能，安全，可持久化等角度果断选择了rabbitmq作为我们的消息中间件 (其实这里是因为rabbitmq是spring官方支持的，开发起来方便)。需求上
2016-09-28 12:52:22
11300
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人