- 博客(32)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 kubernetes 服务发现和负载均衡
kubernetes中如何发现服务如何发现pod提供的服务如何使用kube-dns发现服务 service：服务，是一个虚拟概念，逻辑上代理后端pod。众所周知，pod生命周期短，状态不稳定，pod异常后新生成的pod ip会发生变化，之前pod的访问方式均不可达。通过service对pod做代理，service有固定的ip和port，ip:port组合自动关联后端
2017-11-29 00:50:24
6772
转载 Kubernetes集群的安全配置
使用kubernetes/cluster/kube-up.sh脚本在装有Ubuntu操作系统的bare metal上搭建的Kubernetes集群并不安全，甚至可以说是“完全不设防的”，这是因为Kubernetes集群的核心组件：kube-apiserver启用了insecure-port。insecure-port背后的api server默认完全信任访问该端口的流量，内部无任何安全机制
2017-11-25 14:34:05
4295
转载 在Kubernetes Pod中使用Service Account访问API Server
Kubernetes API Server是整个Kubernetes集群的核心，我们不仅有从集群外部访问API Server的需求，有时，我们还需要从Pod的内部访问API Server。然而，在生产环境中，Kubernetes API Server都是“设防”的。在《Kubernetes集群的安全配置》一文中，我提到过：Kubernetes通过client cert、static t
2017-11-25 14:22:41
7216
转载 容器平台选型：Docker、DC/OS、K8S ？
无论是在社区，还是在同客户交流的过程中，总会被问到到底什么时候该用 Docker？什么时候用虚拟机？如果使用容器，应该使用哪个容器平台？ 显而易见，我不会直接给大家一个答案，而是希望从技术角度进行分析具体的场景。例如客户是大公司还是小公司，将部署小集群还是大集群，倾向于私有云还是公有云，已经采购了 IaaS 还是没有 IaaS，IT 运维能力强还是弱，是否需要物理机、虚拟机、容器的混合部署
2017-11-19 01:23:42
1765
转载 kubernetes（k8s）简单介绍
什么是kubernetes？ Kubernetes是一个全新的基于容器技术的分布式架构领先方案。是Google内部集群管理系统Borg的一个开源版本。直到2015年4月，随着论文发布，才被众人熟知。Kubernetes是一个开放的开发平台。不局限于任何一种语言，没有限定任何编程接口。是一个完备的分布式系统支撑平台。它构建在docker之上，提供应用部署、维护、扩展机制等功
2017-11-19 00:12:28
1665
转载 Kubernetes 主从架构安装
Kubernetes安装环境Centos7.1系统的机器3台Master：192.168.0.120Nodes：192.168.0.106, 192.168.0.107 =====Master=====1 在Master上安装kubernetes etcd flannelyum install kubernetes etc
2017-11-17 21:31:42
904
原创 华山论剑：微服务框架-SpringCloud、Dubbo or Istio
在 Kubernetes容器云平台于众多企业里遍地实施开花后，迅速结出的果实：应用微服务化当仁不让的居于首位。众所周知，基于容器平台构建后端服务，可以更加迅速的实现业务微服务化，与之而来的框架选型讨论也迅速火热了起来。微服务框架选型之争选项其实很多，这里挑选一些讨论火热、或者主流的来对比，仅供参阅。主流微服务框架：SpringCloud、Dubbo新锐微服务框架：I
2017-11-17 19:21:05
7017
原创 spring cloud 系列文章
spring cloud 系列文章http://blog.didispace.com/categories/Spring-Cloud/page/3/
2017-11-17 00:24:44
389
转载 从Storm和Spark 学习流式实时分布式计算的设计
http://blog.csdn.net/anzhsoft/article/details/381680250. 背景本文对流式系统出现的背景，特点，数据HA，服务HA，节点间和计算逻辑间的消息传递，存储模型，计算模型，与生产环境融合都有涉及。希望对大家的工作和学习有所帮助。正文开始： 流式实时分布式计算系统在互联网公司占有举足轻重的地位，尤其在
2017-11-16 16:39:41
486
转载 spark与storm的对比
spark与storm的对比对比点StormSpark Streaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级秒级吞吐量低
2017-11-16 16:17:18
831
转载 时间序列数据库TSDB排名
DB-Engines 中时序列数据库排名我们先来看一下DB-Engines中关于时序列数据库的排名，这是当前（2016年2月的）排名情况：下面，我们就按照这个排名的顺序，简单介绍一下这些时序列数据库中的一些。下面要介绍的 TSDB 以开源的为主，如果是商业或者 SaaS 服务，也简单介绍一下其特点，让大家能对其他领域的事物也有所了解。这里有一个例外，就是 Pinot 并
2017-11-14 20:01:39
26097
转载 关于分布式事务、两阶段提交协议、三阶提交协议
随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型网站的架构也在不断发展。提高大型网站的高可用架构，不得不提的就是分布式。在《分布式系统的一致性探讨》一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致性问题，其中包括什么是分布式事务，二阶段提交和三阶段提
2017-11-08 23:41:46
300
原创 分布式系统的一致性探讨
随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型网站的架构也在不断发展。提高大型网站的高可用架构，不得不提的就是分布式。在《初识分布式系统》一文中简单介绍了分布式的基本概念，本文将在上篇文章的基础上继续学习分布式的一致性问题。主要介绍分布式一致性的基本概念、重要性、一致性模型等。一致性的
2017-11-08 23:39:41
302
原创 【推荐读】浅谈 MySQL 中对大表的优化
MySQL 对于千万级的大表的优化的具体步骤，个人建议的步骤如下：第一优化你的sql和索引； 第二加缓存，memcached,redis； 第三以上都做了后，还是慢，就做主从复制或主主复制，读写分离，可以在应用层做，效率高，也可以用三方工具，第三方工具推荐360的atlas,其它的要么效率不高，要么没人维护； 第四如果以上都做了还是慢，不要想着去做切分，mysql自带分区表，先试试这个，...
2017-11-07 20:28:26
291
转载 电商秒杀系统设计分析
1，乐视秒杀，每秒钟10万的订单更新（insert/update），以用户ID分库分表，二叉树分库扩容，表级同步，DB1 - DB8， order1 - order10， DB编号 = （uid/10）%8，表编号=uid%10，这样单库基本上可以保持1万左右的并发，可以业务层分库分表，也可以使用mycat之类的中间件。订单ID结构：分库分表信息+时间戳+机器号+自增序号,分信息：1bit
2017-11-07 08:33:52
1046
转载 用户的访问权限过滤器，防止用户直接输入URL直接访问资源。
刚写完用户的访问权限过滤器，基本实现了防止用户直接输入URL访问资源。如有不足请指正！Java 代码：Java代码 package com.viano.filter; import java.io.IOException; import javax.servlet.Filter; import jav
2017-11-07 01:53:12
5757
1
转载 redis使用watch秒杀抢购思路
1、使用watch，采用乐观锁 2、不使用悲观锁，因为等待时间非常长，响应慢 3、不使用队列，因为并发量会让队列内存瞬间升高import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import redis.clients.jedis.Jedis;/** * redis
2017-11-07 00:28:54
628
原创 Kafka 0.11新版本发布：主要的功能变更介绍：支持 EOS, 事务和幂等producer
Apache Kafka近日推出0.11版本。这是一个里程碑式的大版本，特别是Kafka从这个版本开始支持“exactly-once”语义(下称EOS， exactly-once semantics)。本文简要介绍一下0.11版本主要的功能变更。一、修改unclean.leader.election.enabled默认值 Kafka社区终于下定决心要把这个参数的默认值改成fa
2017-11-06 19:07:47
2267
转载 CSRF攻击与防御
CSRF概念：CSRF跨站点请求伪造(Cross—Site Request Forgery)，跟XSS攻击一样，存在巨大的危害性，你可以这样来理解： 攻击者盗用了你的身份，以你的名义发送恶意请求，对服务器来说这个请求是完全合法的，但是却完成了攻击者所期望的一个操作，比如以你的名义发送邮件、发消息，盗取你的账号，添加系统管理员，甚至于购买商品、虚拟货币转账等。 如下：其中Web A为
2017-11-06 15:47:33
263
转载 mysql主主同步两个数据库同时写入，实现原理：自动增长主键不重复
出现的问题（多主自增长ID重复） 解决方法：我们只要保证两台服务器上插入的自增长数据不同就可以了如：A查奇数ID，B插偶数ID，当然如果服务器多的话，你可以定义算法，只要不同就可以了 在这里我们在A,B上加入参数，以实现奇偶插入 A：my.ini上加入参数 auto_increment_offset = 1au
2017-11-05 23:54:20
3194
1
转载 推荐 MySQL事务内幕与ACID
MySQL的事务实现严格遵循ACID特性，即原子性(atomicity)，一致性(consistency)，隔离性(isolation)，持久性(durability)。为了避免一上来就陷入对ACID的概念理解，我们直接先谈MySQL事务实现机制。MySQL提供了两种事务型的存储引擎：InnoDB和NDB Cluster。另外还有一些第三方存储引擎也支持事务，比较知名的包括XtraDB和P
2017-11-05 15:09:42
321
转载 kafka0.8--0.11各个版本特性预览介绍
kafka-0.8.2 新特性 producer不再区分同步（sync）和异步方式（async），所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的r
2017-11-05 01:42:40
601
转载 推荐 Kafka深度解析
http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/摘要 Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与Cloudera Hadoop，Apache Storm，Apache Spark集成。本文介绍了Kafka的创建背景，设计目
2017-11-04 22:12:02
840
转载 Kafka Controller介绍
Kafka Controller选举的基本原理整个选举过程是通过zk上的一个临时节点来实现的：/controller节点，其data结构为：核心信息就是记录当前的controller的brokerId。"version" -> 1, "brokerid" -> brokerId, "timestamp" -> timestamp当controller挂了，其它所...
2017-11-04 13:05:46
792
转载 springcloud入门系列（2）－Feign、Ribbon实现Rest接口请求和负载均衡
前面我们介绍了通过springcloud的eureka服务注册组件实现，并且实现了多机互备的HA，同时也将之前写的springboot的服务注册到了eureka上，今天我们主要来介绍下作为服务使用者如何去使用这些服务接口并且实现基于服务化的软负载均衡。对于之前实现的springboot的rest接口服务，一般来说进行restful接口的接收和拆组包，可以通过apache的httpclient、jd
2017-11-02 22:53:20
897
转载 Eclipse中创建新的Spring Boot项目
http://blog.csdn.net/clementad/article/details/51334064简单几步，在Eclipse中创建一个新的Spring Boot项目：1、Eclipse中安装STS插件：Help -> Eclipse Marketplace...Search或选择“Popular”标签，选择Spring Tool Suit
2017-11-02 22:22:30
789
转载 推荐： Kafka 配置参数
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。官方的文档 Configuration比较老了，很多参数有所变动， 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了修正。Boker配置参数下表列出了Boker的重要的配置参数， 更
2017-11-02 16:33:11
715
转载 Kafka 配置参数（非常好的总结）
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。官方的文档 Configuration比较老了，很多参数有所变动， 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了修正。Boker配置参数下表列出了Boker的重要的配置参数， 更
2017-11-02 16:24:32
1919
原创 Kafka 参数列表和解释
一、Kafka 参数列表和解释### Broker ###唯一标识在集群中的ID，要求是正数。broker.id=0#服务端口，默认9092port=9092#监听地址，不设为所有地址host.name=debugo01 # 处理网络请求的最大线程数num.network.threads=2# 处理磁盘I/O的
2017-11-02 16:23:09
1401
转载 Kafka 实现的几个技术细节讨论
http://www.cnblogs.com/mengyou0304/p/4836555.html关于Kafka大方向上的介绍已经很多了，infoq上面不少不错的资源http://www.oschina.net/translate/kafka-design?cmp&p=1#http://www.infoq.com/cn/articles/kafka-analysis-p
2017-11-01 10:50:29
835
转载 kafka学习心得
一、为什么需要消息系统1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩
2017-11-01 01:18:46
946
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人