戰士博客

原版参照系统架构之服务器架构图

草稿

一、ID maping二、用户标签管理三、数据规范四、运营分析五、人群操作六、数据脱敏七、营销应用系统对接

基础架构建设

目录行为数据采集业务数据采集与转换第三方系统API对接用户数据关联人工数据采集数据输出行为数据采集1.埋点采集①跨平台打通确定性方法识别利用用户帐号体系中，可以是系统生成的 UserID，可以是手机号，也可以是邮箱，不同的产品情况略有差异，总之就是用户唯一的标识。 如果应用在 Android、iOS、Web、微信公众号四个平台上运营，各个平台用统一的帐号体系。假如小明有Android、iOS、PC三台设备，早上在Android 的微信公众号上看了一个推荐的，中午登

业务中台、数据中台、业务中台

目录大数据功能架构大数据技术架构大数据网络拓扑大数据整体物理拓扑数据中心拓扑大数据服务器拓扑实时数据采集大数据功能架构大数据技术架构大数据网络拓扑大数据整体物理拓扑数据中心拓扑大数据服务器拓扑实时数据采集...

目录功能架构技术架构总体架构功能架构技术架构总体架构

导读：数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？它的核心难点与核心问题在哪？如果想稳定落地，系统设计该怎么做？01 业务背景1. 典型实时业务场景首先我们来看一个典型的实时业务场景，这个场景也是绝大部分实时计算用户的业务场景，整个链路也是一个典型的流计算架构：把用户的行为数据或者数据库同步的Binlog，写入至kafka，再通过Flink做同步.

整体架构技术架构物理拓扑系统集成

目录整体架构技术架构物理拓扑商业模式整体架构技术架构物理拓扑商业模式

目录整体架构规划架构云平台架构实现架构整体架构规划架构云平台架构实现架构

目录功能架构技术架构技术中台业务中台功能架构技术架构技术中台业务中台

功能架构物理拓扑

Docker

目录整体流程概述稳妥的采集数据方法FTP服务器上的Flume配置文件如下其它常见问题应用层代码部署到分布式mycluster1数据采集（Flume采集nginx日志）Visits数据分析大数据离线自动执行流程--基于jenkins整体流程概述首先声明，这个架构模型只能是离线分析技术的一个简单的入门级架构。整个离线分析的总体架构就是使用Flume...

目录windows的Navicat连接ubuntu16.04的mysql-clusterwindows eclipse连接ubuntu大数据框架在eclipse上进行开发windows的Navicat连接ubuntu16.04的mysql-cluster1)在装有数据库的那台电脑，登入mysql后，更改 "mysql" 数据库里的 "user" 表里的 "host" 项，...

目录Nginx概述tomcat概述tomcat 与 nginx，apache的区别tomcat、websphere、Jboss、weblogic区别总结Nginx+Tomcat搭建高性能负载均衡集群Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。在Java的Web架构中，通常使用Tomcat和Nginx进行配合，Nginx...

目录sqoop概述sqoop注意点sqoop1和sqoop2区别sqoop1安装部署sqoop概述Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDF...

目录kafka概述kafka特性和应用场景kafka基本架构及原理Zookeeper在kafka的作用Kafka核心组件Kafka备份机制kafka的安装配置（所有节点）kafka概述Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的...

目录Flume概述应用场景Flume优势Flume架构Flume与Kafka对比Flume+Kafka双剑合璧构建大数据平台日志采集Flume安装配置Flume概述flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一...

目录Hive概述Hive架构Hive运行机制Hive安装配置Hive概述基于Hbase的高层语言。类似于SQL --- 访问和处理关系型数据库的计算机语言。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件（例如xml）映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过...

目录Hbase概述Hbase与Hive、Pig、Impala、Tez对比Hbase架构原理Hbase逻辑模型Hbase物理存储HBase工作流程HBase的高可用HBase性能和优化HBase shell访问Hbase安装配置Hbase简易测试Hbase概述HBase是一个分布式的、面向列的开源数据库，基于Hadoop架构的数据库系统。...

目录概述spark运行流程图Spark运行特点spark组件、功能介绍Spark常用术语Spark运行模式RDD运行流程Spark安装配置概述批处理为主，流处理为辅--微批Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop...

mysqlcluster

目录内存溢出解决记录内存及GC 的相关参数内存溢出解决记录项目平稳运行到1个月5天时候，tomcat服务突然崩溃，首先查看下tomcat的日志，如下：24-Sep-2019 10:39:06.628 严重 [http-nio-9090-exec-53] org.apache.catalina.core.StandardWrapperValve.invoke...

前言之前博客中《SSM+nginx+tomcat+maven+mysql+redis环境搭建及工程全套配置，实现前后端动静分离》只是初级版的SSM体系建设，在这篇文章之前，可参照：https://blog.csdn.net/qq_36632174/article/details/102461255来了解前博客内容。本篇对上一篇做一个升级，配置多数据源，加入事务、定时任务、流程组件activ...

一、度量、指标、指标器度量和维度构成OLAP的主要概念，对于在事实表或者一个多维立方体里面存放的数值型的、连续的字段，就是度量。这符合上面的意思，有标准，一个度量字段肯定是统一单位，例如元、户数。如果一个度量字段，其中的度量值可能是欧元又有可能是美元，那这个度量没法汇总。在OLAP中还有计算度量的说法，用一个总费用除以用户数，得到每户平均费用。但这究竟还算不算度量了呢？这已经不是原本意义上的度...

数据仓库架构首先对数据仓库的架构简单介绍：facebook的ppt上了解到的是他们在hive上做大数据量的分析，计算结果放到oracle上做BI展示和计算hadoop MR or hive上ETL计算完的结果表，同步到oracle中，连接传统BI工具，呈现报表，阿里、腾讯、盛大都是这样的。※即席查询：（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生...

数据仓库形象解释业务场景如下图举例说明：在很久很久以前，世界上生活着许多种族，有人类，有矮人，有精灵......他们有着不同的信仰，不同的文化，彼此相安无事。可是，有一个猥琐男却偏偏想要统治整个世界。如何统治这么多不同文化信仰的种族呢？猥琐男想出一个馊主意，打造出几枚拥有魔力的戒指，免费送给不同种族的领袖，让他们可以更好地统治各自的族人。当各个种族的领袖美滋滋地戴上各自的魔戒，走上...

数据挖掘模块作为一个跨学科的计算机科学分支，数据挖掘是用人工智能、机器学习、统计学和数据库的交叉方法在相对较大型的数据集中发现模式的计算过程，属于非传统的数据处理。相对于传统ETL数据处理，数据挖掘更侧重于知识发现，其计算和规则也更加复杂。大数据分析的理论核心，其本质是一组根据算法事先定义好的数学公式，将收集到的数据作为参数变量带入其中，从而能够从大量复杂的数据中提取到有价值的信息。著名的“啤...

酷狗音乐架构解析1.大数据技术要解决的问题大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT领域新一代的技术与架构。2.数据流架构如图从这张图中，可以了解到大数据处理过程可以分为数据源、数据接入、数据清洗、数据缓存、存储计算、数据服务、数据消费等...

服务器连接的进化：RPC(远程过程调用)->Web Service->SOA->RESTful平台->PaaS与SaaS云端一款采用应用程序虚拟化技术（Application Virtualization）的软件平台，集软件搜索、下载、使用、管理、备份等多种功能为一体。通过该平台，各类常用软件都能够在独立的虚拟化环境中被封装起来，从而使应用软件不会与系统产生耦合，达...

大型分布式架构特点和注意一、大型网站的特点用户多，分布广泛大流量，高并发海量数据，服务高可用安全环境恶劣，易受网络攻击功能多，变更快，频繁发布从小到大，渐进发展以用户为中心免费服务，付费体验二、大型网站架构目标高性能：提供快速的访问体验。（包括轮询巨大数据量等，最好控制在5秒之内）高可用：网站服务一直可以正常访问。（做故障转移）可伸缩：通过硬件增加/减少，提高/...

技术本无好坏，在于适当的使用和积累。框架没有固定模式，主要是根据具体业务去设计最适合的框架。前言计算机的领域，当单机性能达到瓶颈时，有两种方式可以解决性能问题，一是堆硬件，进一步提升配置，二是分布式，水平扩展。在云计算、微服务、大数据、深度学习、人工智能、区块链等近些年火热领域，分布式和集群是基础，因为数据、应用的巨大，单机的性能已经无法满足需求，需要多台计算机协同工作。"分布式"有很多种...

技术本无好坏，在于适当的使用和积累。框架没有固定模式，主要是根据具体业务去设计最适合的框架。"分布式"基本思想总结1.系统拆分大系统小做“。对于一个大的复杂系统，首先想到的就是对其分拆，拆成多个子系统。每个子系统自己的存储/Service/接口层，各个子系统独立开发、测试、部署、运维。从团队管理角度讲，也可以不同团队用自己熟悉的语言体系，团队之间基于接口进行协作，职责清晰，各司其职。...

简介：服务器分为web服务器和应用服务器。Web服务器是离客户端最近的服务器，负责监听和处理HTTP请求。应用服务器比web服务器更靠近后端，主要处理复杂的业务逻辑和数据库的访问。如果是静态资源（例如HTML页面或图片），web服务器则直接将该资源读取出来返回给客户端，就不需要经过应用服务器了。如果是动态的资源（例如数据库里的一些数据），web服务器则将该请求转交给应用服务器，由应用服务器...

前言服务器架构图多以物理视图呈现，物理视图用于描述系统软件到物理硬件的映射关系，反映出系统的组件是如何部署到一组可计算机器节点上，用于指导系统的部署实施过程。受众多为运维和实施人员。其实服务器架构如何架设完全根据业务场景，数据量或者用户量等因素进行衡量，并没有什么架设方案是一定的，遵循“两利相权取其重”，经过综合考量后，选择最优方案。以下根据不同场景进行服务器架构架设进行物理视图展示（...

数据平台进化实际上世界都是围绕数据在转，只是计算机、网络的出现让数据虚拟化、可视化、持久化、通信化。以前写信，现在社交软件通信；以前各地同一样商品价格差，需要人去传播，现在各大电商平台已把此种情况规避；以前的有纸化办公，升级到现在的全面电子化办公；包括当前的AI、大数据，即将的5G、物联网等，纯软件领域、软硬结合领域，所有都离不开数据的支撑，而数据的重要不言而喻。所以构建数据平台，对数据进行集...