燕窝

转载 防重复请求处理的实践与总结

#防重复处理总结##背景在业务开发中，我们常会面对防止重复请求的问题。当服务端对于请求的响应涉及数据的修改，或状态的变更时，可能会造成极大的危害。重复请求的后果在交易系统、售后维权，以及支付系统中尤其严重。前台操作的抖动，快速操作，网络通信或者后端响应慢，都会增加后端重复处理的概率。前台操作去抖动和防快速操作的措施，我们首先会想到在前端做一层控制。当前端触发操作时，或弹出确认界面，

转载 真正零停机 HAProxy 重载

Yelp 础设施团队的主要目标之一就是为了尽可能接近零停机时间。那也就是说当用户访问www.yelp.com 作出动作的时候，网站的响应速度必须尽可能的快。一种方法是使用 HAProxy 负载均衡能够保持 www.yelp.com 网站的响应速度。通常我们在任何地方都使用 HAProxy 来保持网站的外部负载均衡、内部负载均衡，甚至运用到构建面向服务的架构中。我们发现在 Yelp 的每台机器上运行

转载 合伙创业，合的不是钱，而是格局！推荐！

原创 Java Concurrency的系列文章

http://tutorials.jenkov.com/java-concurrency/index.html

转载 Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输

转载 一些常用软件的网络端口协议分类介绍

各种软件网络端口的分类： 即时通讯类：　　1、腾讯QQ通讯协议及端口范围　　QQ 默认采用UDP 通讯方式，端口8000，8001。如果UDP 的两个端口不通，会自动转换到TCP 80端口或者TCP 443端口进行通讯。QQ 同时也支持HTTP 代理模式及SOCK5 代理模式。　　2、MSN通讯协议及端口范围　　MSN(Live)messenger 采用TC

转载 ubuntu如何使用 ll

用过 Redhat 的朋友应该很熟悉 ll 这个命令，就相当于 ls -l，但在 Ubuntu 中就不行了。严格来说 ll 不是一个命令，只是命令的别名而已。很多 Linux 用户都使用 bash shell，对普通用户来说用得最多的就是命令补全 (按 tab 键) 和 alias (别名) 功能。Ubuntu 默认建立的用户都用的 bash shell，所以它也支持别名功

转载 使用ELK(logstash,elasticsearch,kibana)+redis搭建nginx日志分析平台

logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢？首先，架构方面，nginx是有日志文件的，它的每个请求的状态等都有日志文件进行记录。其次，需要有个队列，redis的list结构正好可以作为队列使用。然后分析使用elasticsearch就可以进行分析和查询了。我们需要的是一个分布式的，日志收集和分析系统。logstash有agent和in

转载 孙玄：解析58同城典型技术架构及演变

在UPYUN主办的“UPYUN Open Talk ”第三期北京站上，58同城系统架构师孙玄详细介绍了58同城的商家（移动）管理平台的技术架构及演变历程，并就企业的核心O2O技术进行了专题的分享。孙玄表示，58同城是一个分类信息网站，涵盖房产、二手车、招聘、黄页等内容，在每一个类别里都能看到方便用户交流沟通的58帮帮。58帮帮分为IM部分和非IM的业务处理部分，目前，整个帮帮系统每天要处理

转载 Hadoop Hive sql语法详解

Hadoop Hive sql语法详解存储，学习，共享      Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分

转载 安装完MySQL 后必须调整的 10 项配置

当我们被人雇来监测MySQL性能时，人们希望我们能够检视一下MySQL配置然后给出一些提高建议。许多人在事后都非常惊讶，因为我们建议他们仅仅改动几个设置，即使是这里有好几百个配置项。这篇文章的目的在于给你一份非常重要的配置项清单。 我们曾在几年前在博客里给出了这样的建议，但是MySQL的世界变化实在太快了！ 写在开始前… 即使是经验老道的人也会犯错，会引起很多麻烦。所以在盲

转载 HDFS配置Kerberos认证

HDFS配置Kerberos认证2014.11.04本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意：下面第一、二部分内容，摘抄自《Hadoop的kerberos的实践部署》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个

转载 CDH 的Kerberos认证配置

http://xubo8118.blog.163.com/blog/static/1855523322013918103857226/关于：hadoop的安全机制 hadoop kerberos的安全机制 参考Cloudera官方文档：Configuring Hadoop Security in CDH3 一、部署无kerberos认证的

原创 Installing HBase-命令行

To install HBase On Red Hat-compatible systems:$ sudo yum install hbaseTo install HBase on Ubuntu and Debian systems:$ sudo apt-get install hbaseTo install HBase on SLES systems:$ sudo z

原创 JDK等几个软件linux下安装的环境变量

安装步骤就免了。1、 JDK·用文本编辑器打开/etc/profile ·在profile文件末尾加入： export JAVA_HOME=/usr/share/jdk1.6.0_14 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.