- 博客(43)
- 资源 (179)
- 收藏
- 关注
转载 【纯干货】中国的支付清算体系是怎么玩的?
作者:Allen Chen链接:https://zhuanlan.zhihu.com/p/21249493来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。我一直对支付感兴趣。2015年,因为工作需要,我接触过好多第三方支付公司,做过支付路由,也处理了很多支付异常情况。但是支付中的清算部分我一直不太理解,不知道银联在联结各方的时候是如何发挥作用的。最
2016-05-31 11:14:48 7211 3
转载 互联网金融时代的基础设施——征信
作者:Sherrie链接:https://zhuanlan.zhihu.com/p/20832889来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。互联网信贷的本质,和很多其他金融产品一样,是资金的合理配置,让钱可以自由地最有效率地去到最需要钱的地方去。不过,这种自由和效率并非随手可得之物,我愿意把钱借给你,最根本上是因为我相信你。在仅仅依靠移动端
2016-05-31 11:11:05 3966
转载 360开源的类Redis存储系统:Pika
Pika 是 360 DBA 和基础架构组联合开发的类 Redis 存储系统,完全支持 Redis 协议,用户不需要修改任何代码,就可以将服务迁移至 Pika。有维护 Redis 经验的 DBA 维护 Pika 不需要学习成本。Pika 主要解决的是用户使用 Redis 的内存大小超过 50G、80G 等等这样的情况,会遇到启动恢复时间长,一主多从代价大,硬件成本贵,缓冲区容易写满等问题。
2016-05-25 16:23:32 2911
转载 为什么Redis内存不宜过大
这几年的线上业务表明,redis这个内存数据库,它的高性能、稳定性都是不用怀疑的,但我们塞进redis的数据过多,内存过大,那如果出问题,那它可能会带给我们的就是灾难性(我想很多公司都遇到过) 这里列举一下,我们遇到的一些问题:1 主库宕机先来看一下主库宕机容灾过程:如下图在主库宕机的时候,我们最常见的容灾策略为“切主”。具体为从该集群剩余从库中选出一个从库并将其升
2016-05-25 16:11:25 826
转载 用最少的机器支撑万亿级访问,微博6年Redis优化历程
微博是从 2010 年开始引入 Redis ,现在 Redis 已经广泛应用于微博的多个业务场景,如关系、计数、通知提醒等,目前 Redis 集群存储超过百亿记录,每天上万亿的读取访问。随着业务的快速发展,我们在使用过程中碰到的问题及解决方法给大家做一个分享。主要包括以下方面: 实现机制高可用、业务极致定制以及服务化。Redis 2.0 时代(2010 - 2011)实现机制高可
2016-05-25 16:10:19 1589
转载 基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案
本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上版本(可选,Sentinel最早出现在Redis2.4中,Redis2.8中Sentinel更加稳定),Redis集群是以分片(Sharding)加主从的方式搭建,满足可扩展性的要求;Redis Sentinel介绍Redis S
2016-05-25 16:07:58 381
转载 【Redis入门】常用工具
1、redis-benchmark redis基准信息,redis服务器性能检测redis-benchmark -h localhost -p 6379 -c 100 -n 100000该命名表示100个并发连接,100000个请求,检测host为localhost 端口为6379的redis服务器的性能 参数详解:执行此命
2016-05-25 15:52:56 294
转载 Redis 存储分片之代理服务Twemproxy 测试
概述实际业务场景中单点 Redis 容量、并发都是有限的,所以有 Redis Cluster 的需求。但是官方的 Redis Cluster 一再跳票,还不可用。只好先使用最简单的方式:Proxy。有很多可选,但在大范围生产使用的, Twitter 开源的 Twemproxy 看起来是个理想的选择 – https://github.com/twitter/twemprox
2016-05-25 15:49:37 1063
转载 利用Mongodb的复制集搭建高可用分片,Replica Sets + Sharding的搭建过程
参考资料 reference: http://mongodb.blog.51cto.com/1071559/740131 http://docs.mongodb.org/manual/tutorial/deploy-shard-cluster/#sharding-setup-shard-collection感谢网友Mr.Sharp,他给了我很多很有用的建议。概念梳理Shar
2016-05-25 15:36:03 1536
转载 NoSQL之Redis探析
下载地址:wget http://download.redis.io/releases/redis-2.8.8.tar.gz安装steps:1 下载Official Website : http://redis.io/文档地址 address: http://redis.io/documentation主从复制文档地址 : http://www.redis.io/topic
2016-05-25 14:49:37 552
转载 [Cacti] cacti监控Mongodb实战
前言: 为了更好的使用mongodb,需要监控出mongodb的一些基础使用情况,比如Flush数、连接数、内存使用率、Index操作,Slave延迟等等,这些可以通过配置cacti监控mongodb的模板来完成。 1,在cacti界面导入模板在计算机本地,下载此tgz包:http://mysql-cacti-templates.googlecode.com/fil
2016-05-25 14:46:39 707
转载 [Cacti] memcache安装运行、cacti监控memcache实战
简介Memcache是danga.com的一个项目,最早是为 LiveJournal 服务的,目前全世界不少人使用这个缓存项目来构建自己大负载的网站,来分担数据库的压力。Memcache官方网站:http://memcached.org/ 1,安装下载地址: http://www.memcached.org/downloads,我们线上使用的比较稳定的版本是1.4.
2016-05-25 14:45:19 502
转载 Cacti监控Redis实现过程
Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。被广泛的用于对服务器的运维监控中,Cacti提供了一种插件式的管理,只要按要求写好特定的模板,那么你就可以对任何服务进行流量监控。本文就是要为大家介绍两个模板,分别是MongoDB和Redis的Cacti模板,使用它,你可以对你的MongoDB和Redis服务进行流量监控。1,升级pyt
2016-05-25 14:42:17 529
转载 Cacti监控mysql数据库服务器实现过程
前言:cacti服务器端安装请参考: http://blog.itpub.net/26230597/viewspace-1170579/1 先在cacti服务器端安装mysql模板wget https://mysql-cacti-templates.googlecode.com/files/better-cacti-templates-1.1.8.tar.gztar –xvf be
2016-05-25 14:33:45 408
转载 Cacti使用安装详解
Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。Cacti是通过 snmpget来获取数据,使用 RRDtool绘画图形,而且你完全可以不需要了解RRDtool复杂的参数。它提供了非常强大的数据和用户管理功能,可以指定每一个用户能查看树状结构、host以及任何一张图,还可以与LDAP结合进行用户验证,同时也能自己增加模板,功能非常强大完善。界面友好。
2016-05-25 14:31:10 1156
转载 redmon:Redis监控管理Web工具
redmon是那种一眼看上去就觉得不错的小工具,而且感觉很轻量级,目前它已经支持实时查看Redis的流量,请求,配置信息,命令行操作等功能,后续还将添加Web端配置修改,慢日志查询等功能。如果有兴趣,你可以去下载一个试玩一下。下载:https://github.com/steelThread/redmon简单安装(目前还木有gem包)$ bundle install$ rub
2016-05-25 14:25:18 2442 2
转载 Redis核心解读-从Master到Slave的Replicantion
简介replication是redis提供的复制功能,用于master提供给slave的数据同步。slave在连接master后,master端会在后台启动一个进程进行rdb文件的建立,当文件建立完成后,发送给slave端,slave端收到后,会通过rdb文件完成对master的复制。Slave端结构定义在了解replicantion核心之前,先了解replicatio
2016-05-25 14:17:42 3058
转载 Jacoco覆盖率工具使用之maven篇
Jacoco覆盖率工具使用之maven篇 说明之前的文章已经介绍过如何使用apacheant 执行jacoco工具,下面开始介绍如何使用maven使用jacoco工具。 1.首先新建一个maven项目 如图所示: 2:HelloWorld 新建一个测试类helloworld,code 如图所
2016-05-25 11:05:17 1853
转载 基于apache ant工程的Jacoco覆盖率工具使用之ant 脚本编写
基于apache ant工程的Jacoco覆盖率工具使用之ant 脚本编写承接上一篇"Jacoco覆盖率工具使用"内容点击打开链接Web项目结构如图所示:废话少说,直接上源码:build.properties:[java] view plain copy src.
2016-05-25 10:31:57 1525
转载 Java单元测试之代码覆盖率-JaCoCo
代码覆盖率测试的工具,比较常用的如下: (1)开源: JaCoCo http://www.eclemma.org/jacoco/ Cobetura http://cobertura.sourceforge.net/ Emma http://emma.sourceforge.net/ (2)商用: Clover http://www.atlassian.c
2016-05-25 10:27:42 2146
转载 sonar ant+jacoco 编译测试并出具测试代码覆盖率报告
将如下内容 保存为一个 buildx.xml 文件.选择该xml文件, 右键选择, run as , ant build... , 选择 all1. clean2. init3. compile (编译src 和 test 代码)4. test (junit 执行, 并用jacoco 分析junit代码覆盖率 )5. sonar ( 静态代码检查,
2016-05-25 10:20:31 3064
转载 揭秘微信红包架构、抢红包算法和高并发和降级方案
转自:http://mp.weixin.qq.com/s?__biz=MzIxMTIwNDcxOA==&mid=2649786999&idx=1&sn=76695da2aae04bff6e746100fe81701d与传统意义上的红包相比,近两年火起来的“红包”,似乎才是如今春节的一大重头戏。历经上千年时代传承与变迁,春节发红包早已成为历史沉淀的文化习俗,融入了民族的血脉。按照各家公布的数
2016-05-25 09:50:16 3185
转载 利用redis + lua解决抢红包高并发的问题
抢红包的需求分析抢红包的场景有点像秒杀,但是要比秒杀简单点。因为秒杀通常要和库存相关。而抢红包则可以允许有些红包没有被抢到,因为发红包的人不会有损失,没抢完的钱再退回给发红包的人即可。另外像小米这样的抢购也要比淘宝的要简单,也是因为像小米这样是一个公司的,如果有少量没有抢到,则下次再抢,人工修复下数据是很简单的事。而像淘宝这么多商品,要是每一个都存在着修复数据的风险,那如果出故障了
2016-05-24 18:04:56 777
转载 redis如何清除所有的key
redis比memcache好的地方之一,如果memcache,恐怕就得关掉重启了。1 使用cliFLUSHDB 清除一个数据库,FLUSHALL清除整个redis数据。2 使用shell redis-cli keys "*" | while read LINE ; do TTL=`redis-cli ttl $LINE`; if [ $TTL -eq -1 ]; then
2016-05-24 17:43:40 7189
转载 netty-mina深入学习与对比(一)
这博文的系列主要是为了更好的了解一个完整的nio框架的编程细节以及演进过程,我选了同父(Trustin Lee)的两个框架netty与mina做对比。版本涉及了netty3.x、netty4.x、mina1.x、mina2.x、mina3.x。这里并没有写netty5.x的细节,看了 netty5的修改文档 ,似乎有一些比较有意思的改动,准备单独写一篇netty4.x与netty5.x的不同。
2016-05-24 14:13:19 650
转载 理解Java中字符流与字节流的区别
1. 什么是流 Java中的流是对字节序列的抽象,我们可以想象有一个水管,只不过现在流动在水管中的不再是水,而是字节序列。和水流一样,Java中的流也具有一个“流动的方向”,通常可以从中读入一个字节序列的对象被称为输入流;能够向其写入一个字节序列的对象被称为输出流。 2. 字节流 Java中的字节流处理的最基本单位为单个字节,它通常用来处理二进制数据。J
2016-05-23 14:57:22 363
转载 深入理解Java之泛型
1. Why ——引入泛型机制的原因 假如我们想要实现一个String数组,并且要求它可以动态改变大小,这时我们都会想到用ArrayList来聚合String对象。然而,过了一阵,我们想要实现一个大小可以改变的Date对象数组,这时我们当然希望能够重用之前写过的那个针对String对象的ArrayList实现。 在Java 5之前,ArrayList的实现大致如下:
2016-05-23 14:40:51 358
转载 Java经典类库-Guava中的函数式编程讲解
如果我要新建一个java的项目,那么有两个类库是必备的,一个是junit,另一个是Guava。选择junit,因为我喜欢TDD,喜欢自动化测试。而是用Guava,是因为我喜欢简洁的API。Guava提供了很多的实用工具函数来弥补java标准库的不足,另外Guava还引入了函数式编程的概念,在一定程度上缓解了java在JDK1.8之前没有lambda的缺陷,使使用java书写简洁易读的函数式风格的代
2016-05-23 14:32:30 408
转载 关于字符编码,你所需要知道的(ASCII,Unicode,Utf-8,GB2312…)
字符编码的问题看似很小,经常被技术人员忽视,但是很容易导致一些莫名其妙的问题。这里总结了一下字符编码的一些普及性的知识,希望对大家有所帮助。还是得从ASCII码说起说到字符编码,不得不说ASCII码的简史。计算机一开始发明的时候是用来解决数字计算的问题,后来人们发现,计算机还可以做更多的事,例如文本处理。但由于计算机只识“数”,因此人们必须告诉计算机哪个数字来代表哪个特定字符,例如
2016-05-17 17:35:21 727
转载 大公司在github的开源代码
Alibaba(阿里巴巴):阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人,于1999年在中国杭州创立。https://github.com/alibaba例如:fastjsonAndFix dexposed还有即将开源的weex豆瓣网:豆瓣(douban)是一个社区网站。https
2016-05-17 15:06:30 4275
转载 hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
问题导读:1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的http服务的端口、ipc服务的端口分别是哪个?3.journalnode的http服务的端口、ipc服务的端口分别是哪个?4.ResourceManager的http服务端口是哪个?5.NodeManager的http服务端口是哪个?6.Master的http服务的端口、
2016-05-15 13:34:26 3161
转载 Apache Flink:特性、概念、组件栈、架构及原理分析
Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(Flink Runtime),提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常
2016-05-11 22:07:16 2684 1
转载 TCP三次握手及四次挥手详细图解
相对于SOCKET开发者,TCP创建过程和链接折除过程是由TCP/IP协议栈自动创建的.因此开发者并不需要控制这个过程.但是对于理解TCP底层运作机制,相当有帮助. 而且对于有网络协议工程师之类笔试,几乎是必考的内容.企业对这个问题热情之高,出乎我的意料:-)。有时上午面试前强调这个问题,并重复讲一次,下午几乎每一个人都被问到这个问题。 因此在这里详细解释一下
2016-05-11 21:01:28 399
转载 图解TCP-IP协议
本文通过两个图来梳理TCP-IP协议相关知识。TCP通信过程包括三个步骤:建立TCP连接通道,传输数据,断开TCP连接通道。如图1所示,给出了TCP通信过程的示意图。图1 TCP 三次握手四次挥手图1主要包括三部分:建立连接、传输数据、断开连接。1)建立TCP连接很简单,通过三次握手便可建立连接。2)建立好连接后,开始传输数据。TCP数据传输牵涉到的概念很多
2016-05-11 20:57:07 331
转载 【ZooKeeper Notes】系列文章
团队博客:http://rdc.taobao.com/team/jm/archives/tag/zookeeper《ZooKeeper快速搭建》http://nileader.blog.51cto.com/1381108/795230《ZooKeeper Java API 使用样例》http://nileader.blog.51cto.com/1381108/795265
2016-05-11 20:56:05 346
转载 zookeeper运维管理
目录: 1、运维管理 2、淘宝的关于zookeeper的多篇文章: link:http://nileader.blog.51cto.com/1381108/1068033 zookeeper 运维管理(转) link:http://blog.163.com/bdweizhong@yeah/blo
2016-05-11 20:48:44 582
转载 Memcache知识点梳理
Memcached概念: Memcached是一个免费开源的,高性能的,具有分布式对象的缓存系统,它可以用来保存一些经常存取的对象或数据,保存的数据像一张巨大的HASH表,该表以Key-value对的方式存在内存中。官网下载地址: http://www.memcached.org/运行环境: linux,BSD,windows都可跑协议理论:http://code.sixap
2016-05-11 20:40:45 332
转载 Linux下网络流量实时监控工具大全
在工作中发现,经常因为业务的原因,需要即时了解某台服务器网卡的流量,虽然公司也部署了cacti软件,但cacti是五分钟统计的,没有即时性,并且有时候打开监控页面不方便,个人喜欢随手在某台服务器上输入一个命令,查看网卡即时流量。百度了一下,发现有这么几种方法,现对此类软件进行了一个总结。一、iptraf软件 rhel的iso里有包含,我公司的系统,并没有默认安装,它功能强大,可以按
2016-05-11 20:32:03 438
转载 zookeeper运维
尽管zookeeper在编程上有很多的阱陷,API也非常的难用,但zookeeper服务本身可以说是很牢靠的了,所以在网上貌似关于运维的文章比较少。但省心并不代表不会出麻烦,下面总结下zookeeper运维相关的东东。重要的参考资料这里有一个很好的Pdf,介绍了很多zookeeper的东东,作者是zookeeper的committer之一:http://www.info
2016-05-11 20:12:09 1178
转载 Nagios--运维监控软件--简易安装与配置(已经在信工服务器实现)
Nagios的主要功能特点简介: - 监视网络服务 (SMTP, POP3, HTTP, NNTP, PING等) - 监视主机资源 (进程, 磁盘等) - 简单的插件设计可以轻松扩展Nagios的监视功能 - 服务等监视的并发处理 - 错误通知功能 (通过email, pager, 或其他用户自定义方法) - 可指定自定义的事件处理控制器 - 可选的基于浏览器的WEB
2016-05-04 16:10:09 1206
Apache Sqoop Cookbook
2014-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人