ymeng9527的博客

1.前言之前给大家讲述了基于HDFS的分布式存储，很多企业特别是互联网行业在HDFS上都搭建了Hive数据库，用来存储结构化数据hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务...

1.分布式存储的定义分布式存储就是指通过网络连接每台机器，使得这些分散的存储资源构成一个虚拟的存储设备，数据分散在每台机器上的各个角落与集中式存储技术不同，分布式存储技术并不是将数据存储在某个或多个特定节点上的分布式存储的出现是因为在互联网时代信息数据大爆炸，传统的集中式存储已经难以满足大型应用的数据存储需求2.分布式存储服务的分类（按数据存储模型来划分）文件模型对应分布式文件...

1.前言随着移动互联网的普及，用户越来越多，各个企业产生了大量的日志这些日志主要包括Apache、Nginx等WebService产生的access、error日志与此同时，各个业务系统还会产生大量的应用日志这些日志一方面记录了系统的运行状态，另一方面还保留了系统业务处理的逻辑不仅可以对系统进行实时监控，同时也为后续的问题跟踪和定位提供了数据基础因此，运维工程师很重要的一个工作职责就是...