关闭

[置顶] linux TCP 和 socket 参数设置

tcp_syn_retries :INTEGER 默认值是5 对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255,默认值是5,对应于180秒左右时间。(对于大负载而物理通信良好的网络而言,这个值偏高,可修改为2.这个值仅仅是针对对外的连接,对进来的连接,是由tcp_retries1 决定的) tcp_synack_retries :INTEGER 默认值是...
阅读(4889) 评论(0)

容器平台选型:Docker、DC/OS、K8S ?

无论是在社区,还是在同客户交流的过程中,总会被问到到底什么时候该用 Docker?什么时候用虚拟机?如果使用容器,应该使用哪个容器平台?   显而易见,我不会直接给大家一个答案,而是希望从技术角度进行分析具体的场景。例如客户是大公司还是小公司,将部署小集群还是大集群,倾向于私有云还是公有云,已经采购了 IaaS 还是没有 IaaS,IT 运维能力强还是弱,是否需要物理机、虚拟机、容器的混合部署...
阅读(37) 评论(0)

kubernetes(k8s)简单介绍

什么是kubernetes?         Kubernetes是一个全新的基于容器技术的分布式架构领先方案。是Google内部集群管理系统Borg的一个开源版本。直到2015年4月,随着论文发布,才被众人熟知。Kubernetes是一个开放的开发平台。不局限于任何一种语言,没有限定任何编程接口。是一个完备的分布式系统支撑平台。它构建在docker之上,提供应用部署、维护、扩展机制等功...
阅读(136) 评论(0)

Kubernetes 主从架构安装

Kubernetes安装环境 Centos7.1系统的机器3台 Master:192.168.0.120 Nodes:192.168.0.106, 192.168.0.107  ===== Master ===== 1 在Master上安装kubernetes etcd flannel yum install kubernetes etc...
阅读(34) 评论(0)

华山论剑:微服务框架-SpringCloud、Dubbo or Istio

在 Kubernetes容器云平台于众多企业里遍地实施开花后,迅速结出的果实:应用微服务化当仁不让的居于首位。众所周知,基于容器平台构建后端服务,可以更加迅速的实现业务微服务化,与之而来的框架选型讨论也迅速火热了起来。 微服务框架选型之争 选项其实很多,这里挑选一些讨论火热、或者主流的来对比,仅供参阅。 主流微服务框架:SpringCloud、Dubbo 新锐微服务框架:I...
阅读(78) 评论(0)

spring cloud 系列文章

spring cloud 系列文章 http://blog.didispace.com/categories/Spring-Cloud/page/3/...
阅读(51) 评论(0)

从Storm和Spark 学习流式实时分布式计算的设计

http://blog.csdn.net/anzhsoft/article/details/38168025 0. 背景 本文对流式系统出现的背景,特点,数据HA,服务HA,节点间和计算逻辑间的消息传递,存储模型,计算模型,与生产环境融合都有涉及。希望对大家的工作和学习有所帮助。 正文开始:        流式实时分布式计算系统在互联网公司占有举足轻重的地位,尤其在...
阅读(101) 评论(0)

spark与storm的对比

spark与storm的对比 对比点 Storm Spark Streaming 实时计算模型 纯实时,来一条数据,处理一条数据 准实时,对一个时间段内的数据收集起来,作为一个RDD,再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低...
阅读(49) 评论(0)

时间序列数据库TSDB排名

DB-Engines 中时序列数据库排名 我们先来看一下DB-Engines中关于时序列数据库的排名,这是当前(2016年2月的)排名情况: 下面,我们就按照这个排名的顺序,简单介绍一下这些时序列数据库中的一些。下面要介绍的 TSDB 以开源的为主,如果是商业或者 SaaS 服务,也简单介绍一下其特点,让大家能对其他领域的事物也有所了解。 这里有一个例外,就是 Pinot 并...
阅读(284) 评论(0)

关于分布式事务、两阶段提交协议、三阶提交协议

随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。 为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在《分布式系统的一致性探讨》一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致性问题,其中包括什么是分布式事务,二阶段提交和三阶段提...
阅读(55) 评论(0)

分布式系统的一致性探讨

随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在《初识分布式系统》一文中简单介绍了分布式的基本概念,本文将在上篇文章的基础上继续学习分布式的一致性问题。主要介绍分布式一致性的基本概念、重要性、一致性模型等。 一致性的...
阅读(52) 评论(0)

MySQL 对于千万级的大表要怎么优化

链接:https://www.zhihu.com/question/19719997/answer/81930332 很多人第一反应是各种切分;我给的顺序是: 第一优化你的sql和索引; 第二加缓存,memcached,redis; 第三以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率...
阅读(36) 评论(0)

电商秒杀系统设计分析

1,乐视秒杀,每秒钟10万的订单更新(insert/update),以用户ID分库分表,二叉树分库扩容,表级同步,DB1 - DB8, order1 - order10, DB编号 = (uid/10)%8,表编号=uid%10,这样单库基本上可以保持1万左右的并发,可以业务层分库分表,也可以使用mycat之类的中间件。 订单ID结构:分库分表信息+时间戳+机器号+自增序号,分信息:1bit...
阅读(168) 评论(0)

用户的访问权限过滤器,防止用户直接输入URL直接访问资源。

刚写完用户的访问权限过滤器,基本实现了防止用户直接输入URL访问资源。如有不足请指正! Java 代码: Java代码   package com.viano.filter;           import java.io.IOException;           import javax.servlet.Filter;      import jav...
阅读(86) 评论(0)

redis使用watch秒杀抢购思路

1、使用watch,采用乐观锁  2、不使用悲观锁,因为等待时间非常长,响应慢  3、不使用队列,因为并发量会让队列内存瞬间升高 import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; import redis.clients.jedis.Jedis; /** * redis...
阅读(151) 评论(0)

Kafka 0.11新版本发布:主要的功能变更介绍:支持 EOS, 事务和幂等producer

Apache Kafka近日推出0.11版本。这是一个里程碑式的大版本,特别是Kafka从这个版本开始支持“exactly-once”语义(下称EOS, exactly-once semantics)。本文简要介绍一下0.11版本主要的功能变更。 一、修改unclean.leader.election.enabled默认值     Kafka社区终于下定决心要把这个参数的默认值改成fa...
阅读(92) 评论(0)

CSRF攻击与防御

CSRF概念:CSRF跨站点请求伪造(Cross—Site Request Forgery),跟XSS攻击一样,存在巨大的危害性,你可以这样来理解:        攻击者盗用了你的身份,以你的名义发送恶意请求,对服务器来说这个请求是完全合法的,但是却完成了攻击者所期望的一个操作,比如以你的名义发送邮件、发消息,盗取你的账号,添加系统管理员,甚至于购买商品、虚拟货币转账等。 如下:其中Web A为...
阅读(30) 评论(0)

mysql主主同步两个数据库同时写入,实现原理:自动增长主键不重复

出现的问题(多主自增长ID重复)   解决方法: 我们只要保证两台服务器上插入的自增长数据不同就可以了 如:A查奇数ID,B插偶数ID,当然如果服务器多的话,你可以定义算法,只要不同就可以了   在这里我们在A,B上加入参数,以实现奇偶插入   A:my.ini上加入参数   auto_increment_offset = 1 au...
阅读(46) 评论(0)

推荐 MySQL事务内幕与ACID

MySQL的事务实现严格遵循ACID特性,即原子性(atomicity),一致性(consistency),隔离性(isolation),持久性(durability)。为了避免一上来就陷入对ACID的概念理解,我们直接先谈MySQL事务实现机制。 MySQL提供了两种事务型的存储引擎:InnoDB和NDB Cluster。另外还有一些第三方存储引擎也支持事务,比较知名的包括XtraDB和P...
阅读(69) 评论(0)

kafka0.8--0.11各个版本特性预览介绍

kafka-0.8.2 新特性   producer不再区分同步(sync)和异步方式(async),所有的请求以异步方式发送,这样提升了客户端效率。producer请求会返回一个应答对象,包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点,因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地,在ack=-1模式下需要等待所有的r...
阅读(204) 评论(0)

推荐 Kafka深度解析

http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/ 摘要   Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成。本文介绍了Kafka的创建背景,设计目...
阅读(71) 评论(0)
954条 共48页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:566101次
    • 积分:9830
    • 等级:
    • 排名:第1991名
    • 原创:376篇
    • 转载:578篇
    • 译文:0篇
    • 评论:23条
    最新评论