大数据
闲人end
这个作者很懒,什么都没留下…
展开
-
elk的理解
1.大规模数据分析的需求 数据归档,多维度的检索,高效率的搜索 完整的日志系统: 1.1 收集数据:从多个终端收集数据 1.2 传输数据:稳定可靠的传输数据 1.3 存储数据:大规模数据的存储 1.4 数据分析:对于数据进行梳理 1.5 错误告警:对于报错内容通告 2.elk 2.1 elasticsearch:搜索分析引擎,具备实时文件存储,分布式收索 2.1.1 存储 存储是一条数据是一个文档,通过json进行序列化。 Elasticsearch ⇒ 索引(Index) ⇒ 类型(type)原创 2021-12-06 22:08:51 · 900 阅读 · 0 评论 -
HDFS
HDFS:Hadoop Distributed File System(Hadoop分布式文件系统) 原理 HDFS采用了主从(Master/Slave)结构模型: 一个HDFS集群是由一个NameNode和若干个DataNode组成的。 其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作; 集群中的DataNode管理存储的数据。 一个假定就是迁移计算到离数据更近的位置比将数据移动到程序运行更近的位置要更好。HDFS提供了接口,来让程序将自己移动到离数据存储更近的位置。原创 2021-10-19 21:54:57 · 242 阅读 · 0 评论