大数据
大数据知识
githubshareing
给自己的人生留下点脚印
展开
-
OpenSearch 讲解
文章目录什么是OpenSearchOpen Search 和 Elastic Search对比open searchElasticSearch对比数据准备Open Search 的创建我们对Open Search的使用API 分类搜索方式目前在用的产品遇到的问题什么是OpenSearch开放搜索(OpenSearch)是一款结构化数据搜索托管服务,为移动应用开发者和网站站长提供简单、高效、稳定...原创 2019-05-15 18:24:37 · 27932 阅读 · 4 评论 -
HBase基本数据操作详解
概述对于建表,和RDBMS类似,HBase也有namespace的概念,可以指定表空间创建表,也可以直接创建表,进入default表空间。对于数据操作,HBase支持四类主要的数据操作,分别是:Put :增加一行,修改一行;Delete :删除一行,删除指定列族,删除指定column的多个版本,删除指定column的制定版本等;Get :获取指定行的所有信息,获取指定行和指定列族的所有c...原创 2019-05-12 22:26:09 · 972 阅读 · 0 评论 -
hadoop 集群安装与部署(大数据系列)
什么是大数据基本概念大数据在现实生活中的具体应用什么是hadoophdfs整体运行机制搭建hdfs分布式集群hdfs集群组成结构:安装hdfs集群的具体步骤:安装hdfs集群什么是大数据基本概念《数据处理》 在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理...原创 2018-09-09 17:17:32 · 1463 阅读 · 4 评论 -
HDFS 详解
HDFS前言l 设计思想分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析;l 在大数据系统中作用:为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务l 重点概念:文件切块,副本存放,元数据HDFS的概念和特性首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件其次,...原创 2019-05-05 20:17:48 · 487 阅读 · 0 评论 -
Zookeeeper实现服务动态感知上下线功能、分布式共享锁实现
动态感知上下线功能注意:zookeeper 创建临时且带序号的节点,动态实现服务器的上下线。参考博客:https://blog.csdn.net/cckevincyh/article/details/80730081https://www.cnblogs.com/dengpengbo/p/10443547.html分布式共享锁实现前言:ZooKeeper 是提供少量数据存储和管理...原创 2019-05-03 17:21:03 · 227 阅读 · 0 评论