Tableau的特点和案例--可视化和交互化

Tableau 大数据支持的不好,tableau的不足之处,用tableau处理实时数据响应很慢,而且预览数据不太方便,用来做做可视化不错。企业应用的话不及一些商业智能软件FineBI来得适应性强,效果好。 学习Tableau最主要的一点是要了解它的用法特点,尤其是和Excel的不同。我见过...

2018-01-30 18:14:08

阅读数 4085

评论数 0

大数据架构分析

ansible是新出现的自动化运维工具, ansible批量部署Consul 1.典型应用    * ab test 平台 指标计算+指标 orderid, passenger 等.      cube 算法,快速生成 n 个维度的数据,可随意的下探上放. 其他细节     见个人日记 http:...

2018-01-29 14:45:27

阅读数 1098

评论数 1

spring boot webmvc mvc 核心类时序图

使用spring  web mvc 时[spring boot 包含了 webmvc] 基本上会使用到 1. servlet 本身的 filter [不属于 mvc 层] 2. mvc 的 intercepter pre 和 post ,complete 调用, 含url路径筛选匹配 ...

2018-01-26 12:01:15

阅读数 367

评论数 0

gRPC服务发现&负载均衡 本身是单机的非分布式,需要简单开发

原文: gRPC服务发现&负载均衡 构建高可用、高性能的通信服务,通常采用服务注册与发现、负载均衡和容错处理等机制实现。根据负载均衡实现所在的位置不同,通常可分为以下三种解决方案: 1、集中式LB(Proxy Model) 在服务消费者和服务提供者之间有一个独立的LB,通...

2018-01-23 21:42:46

阅读数 439

评论数 0

mapreduce 的使用java 案例 reduce join 和 计数

其他: 1. MapReduce mapJoin MapReduce实现的Join         2. mapReduce 排序 MapReduce的原理及执行过程 下文是 MapReduce reduceJoin: 一:背景 Reduce端连接比Map端连接更为普遍...

2018-01-23 21:24:14

阅读数 78

评论数 0

互联网开源软件的对应的存储

部署架构图自己找. zipkin: Mysql, 软 open-falcon: rrd,Falcon-Graph扩容 ,Open-Falcon的底层存储,使用RRDTool时间序列数据库。在Transfer & Query模块,使用一致性哈希来对数据做均匀的分片。 把脉: d...

2018-01-23 12:16:14

阅读数 97

评论数 0

从2-3树到 红黑树

原文: 查找(一)史上最简单清晰的红黑树讲解 二叉查找树由于可能会非常的不均衡. 所以用2-3树. 采用上上浮的方法,顶多多两倍节点数.   红黑树一直是数据结构中的难点,大部分关于算法与数据结构的学习资料(包括《算法导论》)对于这部分的讲解都是上来就下定义,告诉我们红黑树这个性质那...

2018-01-22 19:57:44

阅读数 4814

评论数 2

从 lvs 角度再来谈tcp 连接状态

lvs 未解之谜-如何知道连接状态 tcp 连接: 两个 ip+两个端口. lvs 会自动断开连接. 本质上是不维护 连接 map. dr 模式: client 断开连接, lvs 等待到耗时结束. 但这样的问题是短连接很多的话,map 会非常的多. 1.  http://ww...

2018-01-19 19:19:58

阅读数 602

评论数 0

lvs 未解之谜-如何知道连接状态

lvs dr 模式,三次握手建连,realServer 的 ack 直接返回给 client. lvs 中如何维护这个连接的状态? ipvsadm -Lcn 1. client 建连的第一个 sync 包到达 director, 然后放入到 hashTable, 然后转发给rea...

2018-01-19 19:02:00

阅读数 371

评论数 0

如何在中间件bug排查中画多线程竞争流程图

笔者很热衷于解决Bug,同时比较擅长(网络/协议)部分,所以经常被唤去解决一些网络IO方面的Bug。现在就挑一个案例出来,写出分析思路,以飨读者,希望读者在以后的工作中能够少踩点坑。前言此Bug是Druid低版本的Bug,此Bug至少在1.0.12版本就已经修复。Druid的Bug现场在紧张的新项...

2018-01-19 11:19:42

阅读数 179

评论数 0

配置lvs核心参数配置

lvs 核心参数配置. 有端口号,负载转发过程中也会改端口号.  lvs原理lvs的timeout:       ipvsadm --set tcp tcpfin udp  查看timeout:      # ipvsadm --list --timeout      Timeout (tcp t...

2018-01-18 22:49:20

阅读数 386

评论数 0

tcp 连接,黑洞,超时

1. lvs 建立在 tcp 之上,  先通过某个 port 建立了连接, 然后通过 seesion 转发给 realServer.   tcp本身连接建立了,维护链接的定时器是keepalive,这个不设置,就不会断,中间lvs根据session转发,idle就是把session删除,数据进入到...

2018-01-18 21:59:44

阅读数 225

评论数 0

不同层次的负载均衡和会话(连接保持),会话粘连 会话黏连

连接保持的粒度: 同一个连接的不同 tcp 包, 同一个ip, 同一个 uid.ngnix: 改变了tcp四要素,相当于重新生成一个 tcp 请求,负载路由选择其中一个服务器. 可以通过 cookie 等 uid 会话保持. lvs: 不仅仅是两次 http 请求,同一个 tcp 连接的不同包也要...

2018-01-18 20:12:39

阅读数 937

评论数 0

漫谈 ip- 为啥有了 mac 地址还需要 ip

卡姆剃刀原则-如无必要勿增实体. 既然既有 mac,又有 ip.那么肯定有其作用. 1. 可变性角度,历史 2. 实体对应角度,now.1. 可变性角度,mac 地址是烧自在网卡上的. 原厂自带. 修改比较麻烦.2. 不同的 mac,可能对应着同一个 ip, 例如 lvs 的 dr 模式. 引申出...

2018-01-18 20:05:28

阅读数 61

评论数 0

通过异常流程深入了解 tcp,状态

如何理解状态图, 缺少一个 rst 状态,类似于 closed. 几个观点    1. syn,ack或者 fin,ack 可以同时发送, 但是接受需要分别接收来设计状态.    2. Fin 这种是需要业务端触发的, ack ,rst ,syn 这种是 tcp 协议本身自动触发的.  ...

2018-01-18 15:49:41

阅读数 185

评论数 0

g1 垃圾回收器 对比cms

1. g1没有sweep ,只有 copy 2. 三色标记,对灰色处理 刚好这对应CMS和G1的2种不同实现方式:[1] 3. g1 的区域分成很多块. 有 remebered set 和 collection set . [2] Summary of Old Generation GC...

2018-01-18 01:04:45

阅读数 3309

评论数 0

Zipkin的Span模型

zipkin 加上监控的功能+ 通过 tracid 将如虎添翼. 稳定性监控和定位都搞定了. 本文将详细介绍Zipkin的Span模型,以及其他“另类”Span模型的设计。           这里多一句嘴,其实专业点的叫法应该是分布式追踪系统——Distributed TracingSy...

2018-01-17 17:29:44

阅读数 1168

评论数 0

ThreadLocal父子线程传递实现方案

总结 1. threadlocal.get(key), 真正的 key 是 threadId_key; 记住这点,就好理解 threadelocal. 2.InheritableThreadLocal 在 new thread()时 进行上下文传递 3. 线程池使用Inheritable...

2018-01-17 16:54:39

阅读数 311

评论数 0

360自研分布式存储系统Bada的架构设计和应用

这篇文章干货满满,1. 既有调研对比 bigtable,cassandra 2.又有自身设计的说明. 对可靠性,可用性都说的很明白. 扩容等. 360自研分布式存储系统Bada的架构设计和应用 2015-07-29 09:50 陈宗志 高可用架构微信号 字号:T | T 本文作者主要...

2018-01-17 00:59:17

阅读数 974

评论数 0

Rx (Reactive Extensions)介绍

Reactive Extensions (Rx) 原来是由微软提出的一个综合了异步和基于事件驱动编程的库包,使用可观察序列和LINQ-style查询操作。  Rx是一种事件驱动+函数的编程风格,内部机制与Java的队列原理或DIsruptor非常相似,关键是无锁无堵塞,主要区别是对队列中事件的读...

2018-01-17 00:39:59

阅读数 123

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭