- 博客(26)
- 收藏
- 关注
RSS订阅转载 flume-ng性能优化与架构设计
如图1所示，一个flume-ng agent主要包括source，channel和sink三部分，三部分运行在java JVM中，JVM一般运行在linux'操作系统上，因此，这些因素都可能影响最终的性能。flume-ng性能优化与架构设计，简单来讲，也主要包括以上部分。 1, 主键的参...
2016-03-03 21:40:00
123
转载 大数据下的日志-flume 高并发下的优化
我们提到了对flume的使用，但是，只是简单的使用，在高并发的情况下就会有问题，我们举两个例子： 1，在高并发下，Channel使用memory，如果使用默认配置，那么就会较快的情况下，塞满内存，造成大部分数据丢失，对的，你没有听错，memory类型的通道，是会丢失数据的，因为单纯的内存，虽...
2016-03-03 21:39:00
231
转载 flume+kafka+hdfs构建实时消息处理系统
flume是一个实时消息收集系统，它定义了多种的source、channel、sink，可以根据实际情况选择。Flume下载及文档：http://flume.apache.org/Kafkakafka是一种高吞吐量的分布式发布订阅消息系统，她有如下特性： ...
2016-02-04 09:28:00
157
转载 利用nginx+lua+memcache实现灰度发布
一、灰度发布原理说明 灰度发布在百度百科中解释： 灰度发布是指在黑与白之间，能够平滑过渡的一种发布方式。AB test就是一种灰度发布方式，让一部分用户继续用A，一部分用户开始用B，如果用户对B没有什么反对意见，那么逐步扩大范围，把所有用户都迁移到B上面 来。灰度发布可以保证整体系统的稳定...
2016-02-04 09:08:00
121
转载 ABTesingGateway —— 新浪的动态策略灰度发布系统
ABTesingGateway 是一个可以动态设置分流策略的灰度发布系统，工作在7层，基于tengine，采用 ngx-lua 开发，使用 redis 作为分流策略数据库，可以实现动态调度功能。 ABTestingGateway 是在@平凡的香草 指导下完成，作者是：@bg2bkk ...
2016-02-04 09:02:00
243
转载 使用nginx+lua实现web项目的灰度发布
1.问题：小团队，快速迭代开发，版本发布没有经过测试就要放出去，怎样在内网测试过后在外网能在真实环境让内部人员再过一次测试且不影响外网用户 2.实现思想： a.至少要有两台机器 b.公司是统一出口IP c.根据IP将请求转发到不同的机器 3.nginx配制： location /...
2016-02-04 09:01:00
389
转载 "灰度发布"或 A/B Testing的智能分组引擎
用于"灰度发布"或 A/B Testing的智能分组引擎 Regal能做什么？ 下载地址：https://github.com/boylegu/regal 举个最简单的例子，比如需要针对一个版本进行灰度发布，而这一版本对应的可能是一大堆服务器集群， 如下图: 就像图中描述的一样，...
2016-02-04 08:58:00
96
转载 互联网产品的灰度发布
在互联网产品的发布过程中也较多采用此种发布方式：产品的发布过程不是一蹴而就，而是逐步扩大使用用户的范围，从公司内部用户->忠诚度较高的种子用户->更大范围的活跃用户->所有用户。在此过程中，产品团队根据用户的反馈及时完善产品相关功能。此种发布方式，按照中国特色的叫法被冠...
2016-02-04 08:55:00
75
转载 redis作为mysql的缓存服务器(读写分离)
一、redis简介 Redis是一个key-value存储系统。和Memcached类似，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更 新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。在部分场合可以对关系数据...
2016-02-04 08:51:00
145
转载 日志实时分析架构
flume-ng + rocketmq + storm + redis + 前端展示 消息队列部分，我们刚开始采用的是kafka，但kafka在支持回溯消费和重复消费方面比较弱，同时在数据安全方面也相对弱一些，后来我们改为阿里的rocketmq。 考 虑到我们的数据量也不是很...
2016-02-03 11:13:00
81
转载 如何解决秒杀的性能问题和超卖的讨论
最近业务试水电商，接了一个秒杀的活。之前经常看到淘宝的同行们讨论秒杀，讨论电商，这次终于轮到我们自己理论结合实际一次了。 ps：进入正文前先说一点个人感受，之前看淘宝的ppt感觉都懂了，等到自己出解决方案的时候发现还是有很多想不到的地方其实都没懂，再次验证了“细节是魔鬼”的理论。并且一个...
2016-02-03 11:11:00
65
转载 构建高并发高可用的电商平台架构实践
一、 设计理念 1. 空间换时间 1) 多级缓存，静态化 客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag） 反向代...
2016-02-03 11:06:00
107
转载 MySQL锁阻塞分析
日常维护中，经常会碰到线程被阻塞，导致数据库响应非常慢，下面就看看如何获取是哪个线程导致了阻塞的。 blog地址：http://blog.csdn.net/hw_libo/article/details/39080809 1. 环境说明 RHEL 6.4 x86_64 + MySQL ...
2016-02-03 11:03:00
63
转载 使用Mycat 做简单的读写分离(一)
原本使用的是amoeba做的读写分离,但是amoeba早已经停止了维护,有问题也没有办法解决,并且不支持双主多重模式.最近mycat又非常火热.觉得用mycat替换现有的amoeba. 温馨提示: 配置mycat之前请做好准备工作,统一各个数据库的字符集.并且最好使用mysql5.6的版本...
2016-02-03 10:56:00
121
转载 SequoiaDB 架构指南
1 简介 SequoiaDB（巨杉数据库）是一款分布式非关系型文档数据库，可以被用来存取海量非关系型的数据，其底层主要基于分布式，高可用，高性能与动态数据类型设计，与当前主流分布式计算框架 Hadoop 紧密集成。 SequoiaDB 同时兼顾了关系型数据库中众多的优秀设计：如索引、动态...
2016-02-03 10:54:00
216
转载 能承受海量压力的键值型数据库Redis
memcached 的缺点 纯内存操作，关机后数据全部丢失 保存字节数据，数据类型贫乏 LRU算法导致数据不可控的丢失 一致性处理简单 应用端太厚，服务器端太薄 应用场景有限，难以被看成是完整的数据库产品 redis 的特点： 内存+硬盘的持久化保存 具有非常丰富的数...
2016-02-03 10:49:00
46
转载 Redis使用场景与案例分析
redis的主从复制: 在前一节我们已经实践启动了一个redis服务，我们将其作为主机，现为其创建一个从机作备份使用 1.复制一份配置出来为从机所用 [root@linux etc]# pwd /nosql/redis/redis/etc [root@linux etc]# cp...
2016-02-03 10:48:00
121
转载 Redis部署，高可用与分布式集群部署
redis 的持久化： 快照（snapshot）：特定时间、特定命令、特定条件来触发，把某一时刻在内存中的数据全部写出到硬盘当中去。 快照的时间不是实时的，可能会有数据的丢失。 在宕机之后，会把全部dump文件中的数据读入到内存中，会I/O密集。 AOF（append only ...
2016-02-03 10:47:00
72
转载 dubbo的详细介绍
http://www.360doc.com/content/15/0327/21/10675863_458574100.shtml http://www.360doc.com/content/15/0327/21/10675863_458574100.shtml ...
2016-02-03 10:42:00
68
转载 JSP直接打印功能
方法一 WebBrowser.ExecWB(1,1) 打开 Web.ExecWB(2,1) 关闭现在所有的IE窗口，并打开一个新窗口 Web.ExecWB(4,1) 保存网页 Web.ExecWB(6,1) 打印 Web.ExecWB(7,1) 打印预览 Web.E...
2013-06-14 18:23:00
226
转载 实现带进度的多文件上传实例
带进度的多文件上传(支持上传.doc后缀的word文档并在线预览) 百度网盘的下载地址：http://pan.baidu.com/share/link?shareid=440523&uk=1711460255 ...
2013-05-14 10:11:00
74
转载 java开发框架Portal-Basic及上传下载收藏
1、Java 全能高效 MVC & REST 开发框架 Portal-Basic v3.1.1 正式发布》 摘要：Portal-Basic 是一套功能完备的高性能 Full-Stack Web 应用开发框架，内置可扩展的 MVC Web 基础架构和 DAO 数据库访...
2013-05-14 10:02:00
123
转载 可以查询IP地理位置、身份证所在地、手机归属地的接口
新浪的IP查询接口： 新浪的：http://counter.sina.com.cn/ip?ip=IP地址 返回Js数据，感觉不是很精确，可以把问号后面的去掉，直接返回本机对应的IP所在地 有道的IP查询接口： 返回XML数据：...
2013-05-14 09:58:00
103
转载 JFINAL 上传下载文件
1.下载本地文件 JFinal 的 render系列方法，在调用以后，仅仅先 new 了一个 XxxRender对象并保存在 Controller 内部，当执行 index()方法以后，会再次调用另一个 render方法，本次调用会覆盖掉前面 renderFile 时创建的对象。 ...
2013-03-01 08:02:00
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人