畅聊架构-CSDN博客

转载大咖 | 王汉生：从数据到价值的转化，回归分析的“道”与“术”

摘自《数据思维》作者：王汉生学过统计学的同学们都知道一件事情，回归分析师数据分析的一个非常重要的模型方法。而且这些模型很可能是线性的、非线性的,也可能是参数的、非参数的,甚至是一元的、多元的,低维的、高维的,不尽相同。所以，把数据转化为价值,需要一个非常重要且精妙的思想方法:回归分析。另外，这些都是在“术”的层面讨论回归分析。除了“术”，回归分析还有一个更高的“道”的层面。回归分析的“道”在这个

2017-12-10 00:00:00 2151

转载分布式、服务化的ERP系统架构设计

ERP之痛曾几何时，我混迹于电商、珠宝行业4年多，为这两个行业开发过两套大型业务系统（ERP）。作为一个ERP系统，系统主要功能模块无非是订单管理、商品管理、生产采购、仓库管理、物流管理、财务管理等等。作为一个管理系统，大家的一般开发习惯就是使用.Net或Java技术，建立一个单块（单进程）架构的应用，只有一个SQLServer或MySql数据库。然后在项目文件中分一下各个模块，三层结构方式组织代

2017-12-09 00:00:00 968

转载关于用户画像那些事，看这一文章就够了

前言随着近五年互联网和大数据技术的蓬勃发展，各类数据产品应运而生，从阿里自身大数据的应用发展来看可以看到几方面的挑战：一方面为了应对数据量高速的增长，衍生出各类的分布式数据计算与存储技术解决各类应用场景下的难题，而非传统IT架构当中只需要单一数据库就可以支撑整个企业的数据分析报表问题；各类数据的积累如何进行有效的整合与管理，各个业务库的数据之间如何打通在多个计算存储资源

2017-12-08 00:00:00 4200 1

转载干货｜现代IM系统中消息推送和存储架构的实现

摘要：前言 IM全称是『Instant Messaging』，中文名是即时通讯。在这个高度信息化的移动互联网时代，生活中IM类产品已经成为必备品，比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微信已经成长为一个生态型产品，但其核心功能还是IM。前言IM全称是『Instant Messaging』，中文名是即时通讯。在这个高度信息化的移动互联网时代，生活中IM类产品已经成为必

2017-12-05 00:00:00 7745

转载分布式实时日志分析解决方案ELK部署架构

日志是分析线上问题的重要手段，通常我们会把日志输出到控制台或者本地文件中，排查问题时通过根据关键字搜索本地日志，但越来越多的公司，项目开发中采用分布式的架构，日志会记录到多个服务器或者文件中，分析问题时可能需要查看多个日志文件才能定位问题，如果相关项目不是一个团队维护时沟通成本更是直线上升。把各个系统的日志聚合并通过关键字链接一个事务处理请求，是分析分布式系统问题的有效的方式。ELK(elas

2017-12-04 00:00:00 3115 1

转载互联网高性能开发必备技能缓存技术

对后端开发的同学来说，缓存是必备技能。这是你不需要花费太多的精力就能显著提升服务性能的灵丹妙药。前提是你得知道如何使用它，这样才能够最大限度发挥它的功效，并抑制其副作用。本文将介绍最如何正确的添加和更新缓存。写在开始之前这部分将介绍在开始加缓存之前我们必须要做的事情。这步非常重要，如果没弄好，很有可能加了缓存反而不如不加。

2017-12-03 00:00:00 292

原创 9种高性能可用高并发的技术架构

每一个模式描述了一个在我们周围不断重复发生的问题及该问题解决方案的核心。这样，你就能一次又一次地使用该方案而不必做重复工作。所谓网站架构模式即为了解决大型网站面临的高并发访问、海量数据、高可靠运行等一系列问题与挑战。为此，在实践中提出了许多解决方案，以实现网站高性能、高可靠性、易伸缩、可扩展、安全等各种技术架构目标。1分层分层是企业应用系统中最常见的一种架构模式，将系统在横向维度

2017-12-02 00:00:00 505

原创基于 Redis 实现分布式应用限流

限流的目的是通过对并发访问/请求进行限速或者一个时间窗口内的的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务实际场景中常用的限流策略：Nginx接入层限流按照一定的规则如帐号、IP、系统调用逻辑等在Nginx层面做限流业务应用系统限流通过业务代码控制流量这个流量可以被称为信号量，可以理解成是一种锁，它可以限制一项资源最多能同时被多少进程访

2017-12-01 00:00:00 1200

原创揭秘2017双11背后的网络－双11的网络产品和技术概览

引言大家都知道，2017年双11又创造了新纪录，全天交易额1682亿，交易峰值32.5万笔/秒，支付峰值25.6W笔/秒，狂欢的背后是极其复杂庞大的技术系统，有兴趣的同学可以参考 1682亿背后的技术，其中就有大量阿里云云计算相关的产品和技术，而网络相关产品占据了重要的位置，混合云架构，专有网络VPC，负载均衡SLB，NAT网关，高速通道都是网络产品的典型代表。那么，这

2017-11-30 00:00:00 259

原创京东的Netty实践，京麦TCP网关长连接容器架构

背景早期京麦搭建 HTTP 和 TCP 长连接功能主要用于消息通知的推送，并未应用于 API 网关。随着逐步对 NIO 的深入学习和对 Netty 框架的了解，以及对系统通信稳定能力越来越高的要求，开始有了采用 NIO 技术应用网关实现 API 请求调用的想法，最终在 2016 年实现，并完全支撑业务化运行。由于诸多的改进，包括 TCP 长连接容器、Protobuf 的序列化、

2017-11-29 00:00:00 1787 1

原创如何基于Redis Replication设计并实现Redis-replicator？

本文整理自 Redis 技术交流群的线上分享活动，有对 Redis 技术感兴趣的朋友可以加群主微信 gnuhpc 加入。文章主要内容围绕 Redis-replicator 的设计与实现，提纲如下：Redis-replicator 的设计动机Redis-replicator 的设计与实现Redis Replication 的协议简析设计可插

2017-11-28 00:00:00 752 1

原创调研问卷系统 DWSurvey，基于 JAVA WEB 开发

DWSurvey是一款方便、高效、实用的调研问卷系统，一款基于 JAVA WEB 的开源问卷表单系统。丰富的题型，通过拖拽即可完成选择，并可以随意拖动其位置，还可置入所需图片、企业LOGO.设置答题逻辑，设计一份好的问卷就是这么简单！演示地址：http://www.diaowen.net 用户名：[email protected]密

2017-11-24 00:00:00 7886 1

原创《云集的全链路压测之路》

其实说句实话，我们的全链路压测之路走的还是比较艰辛的，从最初纠结用什么压测工具开始，到压框架、压单接口、压压测环境，到线上环境一步步摸索，并结合其它友商的经验和方案，直至今天，将近耗时一年多的漫长时间，我们才最终在黑暗中摸索出了一条属于我们鸡场人自己的全链路压测之路，我们就是在不停的试错过程中逐步成长和成熟起来的。一、究竟什么是全链路压测流量不大的时候，开发人员、测试人员

2017-11-23 00:00:00 3269 1

原创云集微店亿级交易额下的Order子系统架构演变

前言随着云集微店在移动互联网领域的异军突起，短短一年时间内商家从0到50W的线性增长，以及每月热卖活动交易额均超过9位数来看，不得不说云集微店是一个奇迹。相比其他已经悄然消失于公众视野的初创电商企业，云集的成功仿佛更像是顺理成章，正是每一位云集同学的携手努力，才换来今天的野蛮生长。当然，在傲人的成绩面前，云集微店的技术团队默默支撑起了整个平台系统，为了能够让用户顺利购买

2017-11-22 00:00:00 1332

原创大促下热点数据写(库存扣减解决方案

针对交易系统大促场景下热点数据写优化的相关案例。当然，不同的企业有不同的解决方案和实现，但是万变不离其宗，还是那句话，对于大型网站而言，其架构一定是简单和清晰的，而不是炫技般的复杂化，毕竟解决问题采用最直接的方式直击要害才是最见效的，否则事情只会变得越来越糟。在大部分情况下，商品库存都是直接在关系型数据库中进行扣减，那么在限时抢购活动正式开始后，那些单价比平时更给力、更具吸引力的

2017-11-21 00:00:00 2085

原创深度解读 Tomcat 中的 NIO 模型

TOMCA简介整个tomcat是一个比较完善的框架体系，各个组件之间都是基于接口的实现，所以比较方便扩展和替换。像这里的“org.apache.coyote.http11.Http11NioProtocol”和BIO的“org.apache.coyote.http11.Http11Protocol”都是统一的实现org.apache.coyote.ProtocolHandler接口，所

2017-11-20 00:00:00 1807 1

原创 Jenkins+SVN+Maven 自动化部署环境搭建

背景因今年公司新产品线较多，为了降低耦合，达到业务分离、重用，提高内部开发效率的目的，采用了基于服务组件、前后端分离的架构体系。概述与之前传统单应用架构相比，系统部署、配置更加复杂，为了能够频繁地将软件的最新版本，及时、持续地交付给测试团队及质量控制团队，以供评审，所以引入持续集成工具Jenkins，从而实现公司新产品持续集成，自

2017-11-19 00:00:00 425

原创阿里如何利用MongoDB 实现高性能大数据处理

概述MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象

2017-11-17 00:00:00 8344

原创如何在三年内快速成长为一名专家

引言：工作前三年是职业生涯中成长最快的几年，在这段时间里你会充满激情，做事专注，也容易养成良好的习惯。在我们公司有些同学在前三年中就快速成为某一个领域的技术专家，有些同学也可能止步不前。本文和大家一起探讨下如何在三年内快速成长为一名技术专家。目录学习方法1：掌握良好的学习心态2：掌握系统化的学习方法3：知识如何内化成能

2017-11-16 00:00:00 814

原创分布式服务框架Dubbo疯狂更新！阿里开源要搞大事情？

2012 年，阿里巴巴在 GitHub 上开源了基于 Java 的分布式服务治理框架 Dubbo，之后它成为了国内该类开源项目的佼佼者，许多开发者对其表示青睐，同时，先后有不少公司在实践中基于 Dubbo 进行分布式系统架构。目前在 GitHub 上，它的 fork、star 数均已破万。 Dubbo启动维护后，阿里中间件（Aliware）组建了由专职人员和RPC技术专家组成

2017-11-15 00:00:00 304

畅聊架构