排序:
默认
按更新时间
按访问量

区块链简介

    区块链简介         区块链的概念         区块链的发展历史         区块链的特点         区块链的结构         区块链的应用         参考文献 区块链简介 区块链(blockchain)作为比特币的底层技术受到了越来越多的关注,其去中心化...

2018-10-29 21:31:37

阅读数:52

评论数:0

Linux虚拟化平台检测

要想找出 Linux 系统运行在虚拟化平台中还是硬件服务器上,有多种方式可供大家选择,这主要取决于你的 hypervisor 或 container 环境。不同的虚拟化或容器技术会在其实例中引入不同的识别指纹,如:处理器厂商、特殊的 /proc 文件或虚拟网卡名称等。 另外通过 dmesg 显示启...

2018-07-08 17:01:08

阅读数:229

评论数:0

Kubernetes入门简介

1. Kubernetes是什么?      首先,Kubernetes是一个全新的基于容器技术的分布式架构领先方案。Kubernetes是Google开源的容器集群管理系统,其提供应用部署、维护、 扩展机制等功能,利用Kubernetes能方便地管理跨机器运行容器化的应用,其主要功能如下:(1)...

2018-07-01 21:28:31

阅读数:309

评论数:0

Docker基础原理

前言Docker和容器不是一个意思,Docker包含实现虚拟化技术的一系列技术,而容器(container)只是其中的一个组件。Docker可以给你带来什么?更快交付你的应用(Faster delivery of your applications)让部署和测试更简单(Deploying and ...

2018-06-30 15:27:24

阅读数:195

评论数:0

Docker入门简介

本文只是对Docker的概念做了较为详细的介绍,并不涉及一些像Docker环境的安装以及Docker的一些常见操作和命令。通过阅读本文你将知道一下概念:容器什么是Docker?Docker思想、特点Docker容器主要解决什么问题容器 VS 虚拟机Docker基本概念: 镜像(Image),容器(...

2018-06-30 14:18:34

阅读数:136

评论数:0

ElasticSearch入门简介

前言Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎,可以说 Lucene 是当今最先进,最高效的全功能开源搜索引擎框架。Elasticsearch是一个实时分布式和开源的全文搜索和分析引擎。 它可以从RESTful Web服务接口访问,并...

2018-06-24 18:08:32

阅读数:256

评论数:0

大数据架构师从入门到精通

经常有初学者在博客和QQ问我,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣...

2018-06-11 22:27:51

阅读数:1289

评论数:0

从机器学习谈起

 在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习,并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇,从这里开始,必须对机器学习了解才能进一步介绍EasyPR的内核。当然,本文也面对一般读者,不会对阅读有相关的前提要求。  在进入正题...

2018-05-31 23:50:00

阅读数:125

评论数:0

机器学习路线图

1. 引言也许你和这个叫『机器学习』的家伙一点也不熟,但是你举起iphone手机拍照的时候,早已习惯它帮你框出人脸;也自然而然点开今日头条推给你的新闻;也习惯逛淘宝点了找相似之后货比三家;亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩,这些功能的核心算法就是机器学习领域的内容。套用一下大神们对机...

2018-05-30 00:12:59

阅读数:223

评论数:0

人工智能反欺诈三部曲——设备指纹

编者按:                                             上次我们着重介绍了反欺诈的一项核心技术:特征工程。 在反欺诈的技术金字塔中,特征工程起着承上启下的作用。而居于特征工程的下一层的是基座层:数据。在机器学习里,大家有一个共识,高质量、相关的数据决定模型...

2018-05-19 17:42:19

阅读数:1158

评论数:0

人工智能反欺诈三部曲——特征工程

近年来,随着移动互联网的兴起,各种传统的业务逐渐转至线上,互联网金融,电子商务迅速发展,商家针对营销及交易环节的推广活动经常以返利的形式进行。由于有利可图,此类线上推广迅速滋生了针对返利的系统性的优惠套利欺诈行为,俗称薅羊毛。由于移动设备的天然隐蔽性和欺诈行为的多变性,传统的防范手段,比如规则系统...

2018-05-19 17:21:35

阅读数:542

评论数:0

JVM垃圾回收CMS

HotSpot JVM的并发标记清理收集器(CMS收集器)的主要目标就是:低应用停顿时间。该目标对于大多数交互式应用很重要,比如web应用。在我们看一下有关JVM的参数之前,让我们简要回顾CMS收集器的操作和使用它时可能出现的主要挑战。 就像吞吐量收集器(参见本系列的第6部分),CMS收集器处理...

2017-11-13 00:17:24

阅读数:1090

评论数:0

揭秘互联网金融的大数据风控

大数据能够进行数据变现的商业模式目前就是两个,一个是精准营销,典型的场景是商品推荐和精准广告投放,另外一个是大数据风控,典型的场景是互联网金融的大数据风控。 金融的本质是风险管理,风控是所有金融业务的核心。典型的金融借贷业务例如抵押贷款、消费贷款、P2P、供应链金融、以及票据融资都需要数据风控识...

2017-10-31 20:32:22

阅读数:1221

评论数:0

阿里云飞天系统的技术架构

阿里云飞天系统的技术架构 阿里云有以下五大优势: 中国万网,提供虚拟主机托管的服务,而且还提供域名等服务,其客户群非常庞大; 淘宝、阿里巴巴(内部称:B2B)、支付宝等其他子公司有大量的数据分析业务,需要消耗大量的服务器资源,电力,机房设施; 阿里巴巴集团已经购买了多条大带...

2017-09-21 18:59:25

阅读数:7167

评论数:1

学习笔记:The Log(我所读过的最好的一篇分布式技术文章)

前言 这是一篇学习笔记。 学习的材料来自Jay Kreps的一篇讲Log的博文。 原文很长,但是我坚持看完了,收获颇多,也深深为Jay哥的技术能力、架构能力和对于分布式系统的理解之深刻所折服。同时也因为某些理解和Jay哥观点吻合而略沾沾自喜。 Jay Kreps是前Linkedin的Pri...

2017-05-02 20:05:58

阅读数:1960

评论数:0

Kafka高可用设计解析

Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说...

2017-03-27 20:36:47

阅读数:986

评论数:0

Kafka消息可靠性

如果MQ没有类似数据库事务结构和保证,是不可能达到消息投递100%可靠的,极端情况下消息投递要么丢失或重复。 下面咋们从producer,broker,consumer的角度分析一下Kafka中会出现哪些情况。 1.producer发送消息到Broker 目前生产者发送消息(req...

2017-03-26 19:52:18

阅读数:2744

评论数:0

Kafka原理简介

背景介绍: Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其网站使用情况做报表时都要...

2017-03-26 19:42:39

阅读数:2144

评论数:0

kafka知识点整理

一、为什么需要消息系统 1.解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2.冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入-获取-删除”范式中,在把一个消息从队列中删除之前,需要你的处理系统明...

2017-03-25 20:01:50

阅读数:660

评论数:1

分布式数据中间件TDDL、Amoeba、Cobar、MyCAT架构比较

框架比较 TDDL Amoeba Cobar MyCat 点评 TDDL不同于其它几款产品,并非独立的中间件,只能算作中间层,是以Jar包方式提供给应用调用。属于JDBC Shard的思想,网上也有很多其它类似产品。 另外,网上有关于TDDL的图,如http://w...

2017-03-08 11:40:16

阅读数:14941

评论数:3

分布式缓存集群方案选型

分布式缓存集群方案特性使用场景(Memcache/Redis(Twemproxy/Codis/Redis-cluster))优缺点对比及选型

2017-02-28 23:56:17

阅读数:1197

评论数:0

MySQL 开发实践 8 问,你能 hold 住几个?

最近研发的项目对DB依赖比较重,梳理了这段时间使用MySQL遇到的8个比较具有代表性的问题,答案也比较偏自己的开发实践,没有DBA专业和深入,有出入的请使劲拍砖!… MySQL读写性能是多少,有哪些性能相关的配置参数? MySQL负载高时,如何找到是...

2017-02-12 22:16:54

阅读数:837

评论数:0

MySQL分区与传统的分库分表

传统的分库分表 传统的分库分表都是通过应用层逻辑实现的,对于数据库层面来说,都是普通的表和库。 分库 分库的原因 首先,在单台数据库服务器性能足够的情况下,分库对于数据库性能是没有影响的。在数据库存储上,database只起到一个namespace的作用。database中...

2017-01-31 16:28:04

阅读数:4056

评论数:1

分布式事务之说说TCC事务

在当前如火如荼的互联网浪潮下,如何应对海量数据、高并发成为大家面临的普遍难题。广大IT公司从以往的集中式网站架构,纷纷转向分布式的网站架构,随之而来的就是进行数据库拆分和应用拆分,如何在跨数据库、跨应用保证数据操作和业务操作的一致性、原子性,又成为需要解决的新的问题。从分布式事务的需求来源来看: ...

2017-01-30 16:46:48

阅读数:41350

评论数:3

深入理解 Spring 事务原理

一、事务的基本原理 Spring事务的本质其实就是数据库对事务的支持,没有数据库的事务支持,spring是无法提供事务功能的。对于纯JDBC操作数据库,想要用到事务,可以按照以下步骤进行: 获取连接 Connection con = DriverManager.getConnectio...

2016-12-13 23:57:04

阅读数:1251

评论数:0

分布式系统事务一致性解决方案

开篇 在OLTP系统领域,我们在很多业务场景下都会面临事务一致性方面的需求,例如最经典的Bob给Smith转账的案例。传统的企业开发,系统往往是以单体应用形式存在的,也没有横跨多个数据库。我们通常只需借助开发平台中特有数据访问技术和框架(例如Spring、JDBC、ADO.NET),结合关系...

2016-12-12 20:17:36

阅读数:1045

评论数:0

分布式事务:不过是在一致性、吞吐量和复杂度之间,做一个选择

这是一个开撕的话题,我经历过太多的关于分布式事务的需求:“有没有简单的方案,像使用数据库事务那样,解决分布式数据一致性的问题”。特别是微服务架构流行的今天,一次交易需要跨越多个“服务”、多个数据库来实现,传统的技术手段,已经无法应对和满足微服务情况下这些复杂的场景了。针对微服务下的交易业务如何保障...

2016-12-11 22:06:18

阅读数:2869

评论数:0

LevelDb 深入介绍

LevelDb日知录之一:LevelDb 101   说起LevelDb也许您不清楚,但是如果作为IT工程师,不知道下面两位大神级别的工程师,那您的领导估计会Hold不住了:Jeff Dean和Sanjay Ghemawat。这两位是Google公司重量级的工程师,为数甚少的Go...

2016-10-30 21:09:24

阅读数:653

评论数:0

RocketMQ入门

能够保证严格的消息顺序提供丰富的消息拉取模式高效的订阅者水平扩展能力实时的消息订阅机制亿级消息堆积能力 一.RocketMQ网络部署特点     (1)NameServer是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步     (2)Broker部署相对复杂,...

2016-10-16 16:49:12

阅读数:779

评论数:0

全面分析 Spring 的编程式事务管理及声明式事务管理

开始之前 关于本教程 本教程将深入讲解 Spring 简单而强大的事务管理功能,包括编程式事务和声明式事务。通过对本教程的学习,您将能够理解 Spring 事务管理的本质,并灵活运用之。 先决条件 本教程假定您已经掌握了 Java 基础知识,并对 Spring 有一定了解。您还需要具备基本...

2016-10-05 16:20:44

阅读数:1149

评论数:0

几款消息中间的调研

消息系统简介 本次主要调研业界使用广泛的两款消息队列——RabbitMQ, Kafka, 以及阿里云的提供的两个服务, MNS和ONS. RabbitMQ RabbitMQ 是使用Erlang编写的一个开源的消息队列,本身支持很多的协议:AMQP,XMPP, SMTP, STOMP,...

2016-09-17 23:07:33

阅读数:2072

评论数:0

深入浅出HTTPS基本原理

基础知识准备:在了解HTTPS的基本原理之前,需要先了解如下的基本知识。   一、什么是HTTPS,TLS,SSL        HTTPS,也称作HTTP over TLS。TLS的前身是SSL,TLS 1.0通常被标示为SSL 3.1,TLS 1.1为SSL 3.2,TL...

2016-09-04 17:53:45

阅读数:12059

评论数:2

分布式服务框架之服务化最佳实践

在服务化之前,业务通常都是本地API调用,本地方法调用性能损耗较小。服务化之后,服务提供者和消费者之间采用远程网络通信,增加了额外的性能损耗,业务调用的时延将增大,同时由于网络闪断等原因,分布式调用失败的风险也增大。如果服务框架没有足够的容错能力,业务失败率将会大幅提升。 除了性能、可靠性等...

2016-08-08 20:29:08

阅读数:8643

评论数:0

RocketMQ与kafka对比

淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步优化,2011年初,Linkin开源了Kafka这个优秀的消息中间件,淘宝中间件团队在对Kafka做过充分Review之后,Kafka无限消息...

2016-08-07 21:51:18

阅读数:2049

评论数:0

微服务架构的基础框架选择:Spring Cloud还是Dubbo?

最近一段时间不论互联网还是传统行业,凡是涉及信息技术范畴的圈子几乎都在讨论 微服务架构 。近期也看到各大技术社区开始组织一些沙龙和论坛来分享Spring Cloud的相关实施经验,这对于最近正在整理Spring Cloud相关套件内容与实例应用的我而言,还是有不少激励的。 目前,Spring...

2016-07-31 13:50:44

阅读数:75462

评论数:13

HTTPS 能否避免流量劫持?

HTTPS 能否避免流量劫持? 近日,看了一篇关于流量劫持的文章《安全科普:流量劫持能有多大危害?》,作者EtherDream以图文并茂的形式详细讲解了流量劫持及相关知识。“在如今这个讲究跨平台、体验好,并有云端支持的年代,WebApp 越来越火热。各种应用纷纷移植成网页版,一些甚至...

2016-07-09 20:37:47

阅读数:7891

评论数:0

三种基本的存储引擎比较

1、Hash存储引擎 代表数据库:redis、memcache等 通常也常见于其他存储引擎的查找速度优化上。 Hash 索引结构的特殊性,其检索效率非常高,索引的检索可以一次定位,不像B-Tree 索引需要从根节点到枝节点,最后才能访问到页节点这样多次的IO访问,所以 Hash 索引的...

2016-04-05 14:00:16

阅读数:6291

评论数:1

Netty3 VS Netty4 之线程模型

下面小节我们就详细得对Netty3和Netty4版本的I/O线程模型进行对比,以方便大家掌握两者的差异,在升级和使用中尽量少踩雷。 1 Netty 3.X 版本线程模型 Netty 3.X的I/O操作线程模型比较复杂,它的处理模型包括两部分: Inbound:主要包括链路建立事件、链路激活...

2016-03-27 15:45:05

阅读数:8094

评论数:0

理解数据库中的undo日志、redo日志、检查点

数据库存放数据的文件,本文称其为data file。 数据库的内容在内存里是有缓存的,这里命名为db buffer。某次操作,我们取了数据库某表格中的数据,这个数据会在内存中缓存一些时间。对这个数据的修改在开始时候也只是修改在内存中的内容。当db buffer已满或者遇到其他的情况,这些数据会写...

2016-03-14 13:34:25

阅读数:14461

评论数:3

架构师需要了解的Paxos原理、历程及实战

数据库高可用性难题 数据库的数据一致和持续可用对电子商务和互联网金融的意义不言而喻,而这些业务在使用数据库时,无论 MySQL 还是 Oracle,都会面临一个艰难的取舍,就是如何处理主备库之间的数据同步。对于传统的主备模式或者一主多备模式,我们都需要考虑的问题,就是与备机保持强同步还是异步复制...

2016-03-07 13:55:42

阅读数:3266

评论数:0

开源分布式NoSQL数据库系统——Cassandra

Apache Cassandra(社区内一般简称为C*)是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集Google BigTable的数据模型与Amazon Dynamo的完全分布式架构于一身。Facebook于2008将 Cassandr...

2016-03-06 18:36:50

阅读数:1282

评论数:0

持续可用与CAP理论 – 一个系统开发者的观点

持续可用    本文主要针对金融数据库,认为金融数据库的持续可用包含两点:一个是强一致性;另外一个是高可用性。    数据库系统必须是强一致性的系统,这是因为数据库系统有事务ACID的基本要求,而弱一致系统无法做到。业内也有一些流行的NOSQL系统,例如各种类Dynamo系统,如开源的Cass...

2016-03-03 13:13:37

阅读数:767

评论数:0

分布式系统的事务处理经典问题及模型

摘要:分布式系统需要在数据完整、一致性和性能间做平衡。本文系统介绍了处理分布式数据一致性的技术模型,如:Master-Slave,Master-Master,2PC/3PC,经典的将军问题,Paxos,以及Dynamo的NRW和VectorClock的模型。 编者按:数据服务的高可用是所...

2016-03-03 11:19:41

阅读数:1043

评论数:0

高一致性分布式数据库系统之实现

1    背景     2    问题一:数据一致性     3    问题二:分区可用性     4    问题三:性能     5    总结     6    问题四:一个极端场景的分析       ...

2016-03-02 19:51:56

阅读数:3227

评论数:0

ZooKeeper架构设计及其应用要点

ZooKeeper是一个开源的分布式服务框架,它是Apache Hadoop项目的一个子项目,主要用来解决分布式应用场景中存在的一些问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置管理等,它支持Standalone模式和分布式模式,在分布式模式下,能够为分布式应用提供高性能和可靠地协...

2016-02-28 16:09:34

阅读数:736

评论数:0

ActiveMQ持久化方式

消息持久性对于可靠消息传递来说应该是一种比较好的方法,有了消息持久化,即使发送者和接受者不是同时在线或者消息中心在发送者发送消息后宕机了,在消息中心重新启动后仍然可以将消息发送出去,如果把这种持久化和ReliableMessaging结合起来应该是很好的保证了消息的可靠传送。 消息持久性的原...

2016-02-25 11:38:16

阅读数:6303

评论数:2

Redis与Memcached的区别

传统MySQL+ Memcached架构遇到的问题   实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题:   1.MySQL需要不断进...

2016-02-18 16:49:56

阅读数:682

评论数:0

RAID详解[RAID0/RAID1/RAID10/RAID5]

一.RAID定义 RAID(Redundant Array of Independent Disk 独立冗余磁盘阵列)技术是加州大学伯克利分校1987年提出,最初是为了组合小的廉价磁盘来代替大的昂贵磁盘,同时希望磁盘失效时不会使对数据的访问受损 失而开发出一定水平的数据保护技术。RAID就是一种...

2016-01-06 00:31:49

阅读数:570

评论数:0

服务器性能分析工具

Linux下具有诸多优秀的工具供我们差遣使用,帮助我们了解和分析服务器各项性能指标。 A、CPU相关 常用工具列举下:ps、top、iostat、vmstat、mpstat、sar 等 ps:可查看某个进程占用CPU资源百分比; top:显示的信息同ps接近,但是top可以了解到CPU消耗...

2015-12-26 15:57:52

阅读数:2170

评论数:0

从系统角度看分布式系统的挑战

在《分布式计算:原理、算法与系统》书中,1.8.1小节综述了设计和构建分布式系统时需要仔细考虑的10个方面,这10个方面也可以作为观察一个分布式系统的10个角度。 设计和构建分布式系统时,以下几个方面务必仔细考虑。 1)通信。这个任务包括设计适当的网络间进程通信机制。一些样例机...

2015-11-02 20:07:39

阅读数:1171

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭