戰士博客

原版参照系统架构之服务器架构图

目录大数据功能架构大数据技术架构大数据网络拓扑大数据整体物理拓扑数据中心拓扑大数据服务器拓扑实时数据采集大数据功能架构大数据技术架构大数据网络拓扑大数据整体物理拓扑数据中心拓扑大数据服务器拓扑实时数据采集...

检查阿里云服务器数据盘情况输入df -h查看发现，系统现在只有系统盘:/dev/vda1，阿里云平台买的数据库盘还未挂载上;所以下面执行挂载数据盘。通过fdisk -l查到有一个40gb数据盘在闲着，必须利用起来输入"fdisk /dev/vdb"，然后根据下图的提示，输入n，p，1，回车，回车，wq，保存退出如下图：通过fdisk -l查看磁盘情况，数据盘已经准备好，已经做好分区但是查看df -h，发现数据盘还没有出现此时需要把数据盘先初始化再挂载到某路径下：1.格式化挂载

Docker

Jenkins

目录整体流程概述稳妥的采集数据方法FTP服务器上的Flume配置文件如下其它常见问题应用层代码部署到分布式mycluster1数据采集（Flume采集nginx日志）Visits数据分析大数据离线自动执行流程--基于jenkins整体流程概述首先声明，这个架构模型只能是离线分析技术的一个简单的入门级架构。整个离线分析的总体架构就是使用Flume...

目录Nginx概述tomcat概述tomcat 与 nginx，apache的区别tomcat、websphere、Jboss、weblogic区别总结Nginx+Tomcat搭建高性能负载均衡集群Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器。在Java的Web架构中，通常使用Tomcat和Nginx进行配合，Nginx...

目录sqoop概述sqoop注意点sqoop1和sqoop2区别sqoop1安装部署sqoop概述Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDF...

目录kafka概述kafka特性和应用场景kafka基本架构及原理Zookeeper在kafka的作用Kafka核心组件Kafka备份机制kafka的安装配置（所有节点）kafka概述Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的...

目录Flume概述应用场景Flume优势Flume架构Flume与Kafka对比Flume+Kafka双剑合璧构建大数据平台日志采集Flume安装配置Flume概述flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一...

目录Hive概述Hive架构Hive运行机制Hive安装配置Hive概述基于Hbase的高层语言。类似于SQL --- 访问和处理关系型数据库的计算机语言。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件（例如xml）映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过...

目录Hbase概述Hbase与Hive、Pig、Impala、Tez对比Hbase架构原理Hbase逻辑模型Hbase物理存储HBase工作流程HBase的高可用HBase性能和优化HBase shell访问Hbase安装配置Hbase简易测试Hbase概述HBase是一个分布式的、面向列的开源数据库，基于Hadoop架构的数据库系统。...

目录概述spark运行流程图Spark运行特点spark组件、功能介绍Spark常用术语Spark运行模式RDD运行流程Spark安装配置概述批处理为主，流处理为辅--微批Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop...

mysqlcluster

hadoop HA参照：https://blog.csdn.net/qq_36632174/article/details/79794754简述zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功...

目录内存溢出解决记录内存及GC 的相关参数内存溢出解决记录项目平稳运行到1个月5天时候，tomcat服务突然崩溃，首先查看下tomcat的日志，如下：24-Sep-2019 10:39:06.628 严重 [http-nio-9090-exec-53] org.apache.catalina.core.StandardWrapperValve.invoke...

前言由于对安全防御缺乏认识，在管理阿里云服务器一年半时间后，出现了一次业务数据库被勒索事件。具体记录就是业务数据库被删除，勒索病毒自己创建一个数据库，插入一条数据，数据大概内容就是你们的数据库已经被我黑了，我们现在还保有备份，请在什么什么日期之前转多少比特币到哪，如果不转，我们将把数据库备份删除。大概这些内容，这件事发生在要为客户演示之前一天，演示数据库丢失，由于之前已经跟开发人员沟通做好数据...

服务器连接的进化：RPC(远程过程调用)->Web Service->SOA->RESTful平台->PaaS与SaaS云端一款采用应用程序虚拟化技术（Application Virtualization）的软件平台，集软件搜索、下载、使用、管理、备份等多种功能为一体。通过该平台，各类常用软件都能够在独立的虚拟化环境中被封装起来，从而使应用软件不会与系统产生耦合，达...

大型分布式架构特点和注意一、大型网站的特点用户多，分布广泛大流量，高并发海量数据，服务高可用安全环境恶劣，易受网络攻击功能多，变更快，频繁发布从小到大，渐进发展以用户为中心免费服务，付费体验二、大型网站架构目标高性能：提供快速的访问体验。（包括轮询巨大数据量等，最好控制在5秒之内）高可用：网站服务一直可以正常访问。（做故障转移）可伸缩：通过硬件增加/减少，提高/...

技术本无好坏，在于适当的使用和积累。框架没有固定模式，主要是根据具体业务去设计最适合的框架。前言计算机的领域，当单机性能达到瓶颈时，有两种方式可以解决性能问题，一是堆硬件，进一步提升配置，二是分布式，水平扩展。在云计算、微服务、大数据、深度学习、人工智能、区块链等近些年火热领域，分布式和集群是基础，因为数据、应用的巨大，单机的性能已经无法满足需求，需要多台计算机协同工作。"分布式"有很多种...

技术本无好坏，在于适当的使用和积累。框架没有固定模式，主要是根据具体业务去设计最适合的框架。"分布式"基本思想总结1.系统拆分大系统小做“。对于一个大的复杂系统，首先想到的就是对其分拆，拆成多个子系统。每个子系统自己的存储/Service/接口层，各个子系统独立开发、测试、部署、运维。从团队管理角度讲，也可以不同团队用自己熟悉的语言体系，团队之间基于接口进行协作，职责清晰，各司其职。...

塔式服务器塔式服务器一般是大家见得最多的，它的外形及结构都与普通的PC机差不多，只是个头稍大一些，其外形尺寸并无统一标准。塔式服务器的主板扩展性较强，插槽也很多，而且塔式服务器的机箱内部往往会预留很多空间，以便进行硬盘，电源等的冗余扩展。这种服务器无需额外设备，对放置空间没多少要求，并且具有良好的可扩展性，配置也能够很高，因而应用范围非常广泛，可以满足一般常见的服务器应用需求。塔式服务器尤其适...