大数据
文章平均质量分 71
Big data
Tom不秃
.
展开
-
ElasticSearch 基础入门
1、ElasticSearch简介Elasticsearch(ES)通俗简介2、单实例运行ES不能使用root 用户执行命令cd ./elasticsearchsh ./bin/elasticsearch # 当前命令ctrl+c或关闭终端窗口的时候程序就会stop掉#后台运行sh ./bin/elasticsearch -djps #查看运行进程3、集群配置修改各节点配置文件: config/elasticsearch.yml,增加以下配置# 主节点cluster.name: m原创 2022-05-18 00:32:04 · 1282 阅读 · 0 评论 -
Elasticsearch(ES)通俗简介
Elasticsearch到底是什么玩意Elasticsearch(ES)是一款基于Lucene的分布式、可扩展、高可用、实时的搜索与数据分析引擎。Lucene是使用Java实现的一套全文检索类库,ES基于Lucene做了分布式相关的工作。Elasticsearch有哪些应用全文检索结构化查询近实时数据海量数据进行近实时的处理分析统计Elasticsearch相关概念集群(...原创 2020-01-08 20:01:18 · 1201 阅读 · 0 评论 -
Hadoop常见问题及解决方法汇总
1、ERROR: Unable to write in /opt/hadoop-3.3.0/logs. Aborting. Starting datanodes解决:sudo chown -R hadoop:hadoop /usr/local/hadoop2、790 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you解决:/opt/hadoop-3.3.0/etc/hadoop/log4j.propertie原创 2021-08-11 10:05:19 · 4379 阅读 · 0 评论 -
DataX源码编译遇到的坑
问题1 对Record的引用不明确[294,12] 错误: 对Record的引用不明确[ERROR] com.alibaba.datax.common.element 中的接口 com.alibaba.datax.common.element.Record 和 java.lang 中的类 java.lang.Record 都匹配[ERROR] G:\lantai\DataX- master/core/src/main/java/com/alibaba/datax/core/transport/tr原创 2021-07-15 17:59:37 · 5156 阅读 · 0 评论 -
MapReduce基本原理分析
MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题MapReduce是分布式运行的,由两个阶段组成:Map和ReduceMapReduce框架都有默认实现,用户只需要覆盖map()和reduce()两个函数,即可实现分布式计算,非常简单。MapReduce原理分析一个block对应一个split,一个split对应一个map任务...原创 2021-07-11 17:21:55 · 205 阅读 · 1 评论 -
HDFS体系结构详解
HDFS — — Hadoop 分布式文件系统是世界上最可靠的存储系统,HDFS 文件系统被设计用于海量文件存储,其优点是存储大文件而不是大量的小文件;HDFS 容错存储层还提供对 Hadoop 和其它元件的支持,HDFS 的数据复制将帮助我们实现这一特征,它能可靠地存储数据,并且几乎不受硬件故障的影响;HDFS提供高吞吐量数据访问应用程序,提供数据的并行访问。NameNode...原创 2021-07-08 23:52:40 · 859 阅读 · 0 评论 -
Hadoop集群的安装配置
Hadoop 集群的安装配置大致为如下流程:选定一台机器作为 Master在 Master 、slave节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境在Master、 Slave 节点上配置SSH免密码登录在 Master 节点上安装 Hadoop,并完成配置将 Master 节点上的 /usr/local/hadoop 目录(Hadoop安装目录)复制到其他 Slave 节点上在 Master 节点上开启 Hadoop修改服务器主机名、/etc/host原创 2021-07-03 17:35:35 · 817 阅读 · 0 评论