![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
BigData
文章平均质量分 74
Java大数据菜鸟学习日记
宰祖宣
菜鸡
展开
-
机房意外掉电导致Elasticsearch的部分index无数据的修复过程
【代码】机房意外掉电导致Elasticsearch的部分index无数据的修复过程。原创 2023-02-17 16:47:17 · 966 阅读 · 0 评论 -
Java_01:JDK的下载和安装
环境:Windows10专业版、jdk-16.0.2_windows-x64_bin.exe 下载地址:JDK和API下载地址 将下载后的.exe文件进行安装(过程简单不再赘述) 环境变量配置: 配置JAVA_HOME:系统属性→高级→环境变量→系统变量→新建→变量名:JAVA_HOME 变量值:C:\Program Files\Java\jdk-16.0.2(此处的路径为jdk的安装路径) 更改系统变量里面的Path:编辑→在最后一行加上%JAVA_HOME%bin即可 验证:cmd→使原创 2021-08-30 10:09:11 · 77 阅读 · 0 评论 -
HADOOP伪分布安装
步骤: 永久关闭防火墙 systemctl status firewalld.service(查看防火墙状态) systemctl stop firewalld.service(永久关闭防火墙) 配置主机名: 编辑network文件:vi/etc/sysconfig/networkHOSTNAME=hadoop01 让network文件...原创 2019-12-22 01:45:15 · 113 阅读 · 0 评论 -
Hadoop
Hadoop时Apache提供的一套开源的、可靠的、可伸缩(扩展)的、用于分布式存储和计算的框架。 Hadoop模块: Hadoop Common:基本模块,用于支持其他模块 Hadoop Distributed Filesytem:分布式存储框架 Hadoop Yarn:任务调度和集群资源管理 Hadoop MapReduce:分布式计算...原创 2019-12-16 11:22:29 · 282 阅读 · 0 评论 -
Hive
概述: Hive是Apache提供的基于Hadoop的数据仓库管理工具 Hive提供了类SQL语言来操作Hadoop,底层会将SQL转化为MapReduce来执行,所以效率会比较低 Hive适应于离线处理 要求安装Hive的节点要先安装Hadoop,解压完成之后,在启动Hive的时候自动去找环境变量中的HADOOP_HOME ...原创 2019-12-16 15:53:19 · 114 阅读 · 0 评论 -
HBase
简介 概述 HBASE是Apache提供的基于Hadoop的、分布式的、可扩展的、能够存储大量数据的非关系型数据库 基于Google的论文《BigTable》设计实现 区别于传统数据库的行存储,HBASE是面向列进行存储,底层基于Key-Value结构存储 HBASE能够提供低延迟的数据查询能力,其原因是底层充分利用了缓存机制以及复杂的数据结构和算法来实现 行存储...原创 2019-12-16 23:56:06 · 130 阅读 · 0 评论 -
交换机配置导致Elasticsearch集群Down
es集群down现象:华为大数据集群告警(告警ID43203:Elasticsearch实例存在down状态的主分片,一般告警ID43202:Elasticsearch实例存在down状态的副本分片),频繁发生。Elasticsearch全部down导致集群崩溃。查看9.12日告警发生时前后业务交换机的日志可以看到以下信息Sep 12 2020 01:49:31 HUAWEI %%01MSTP/6/SET_PORT_DISCARDING(l)[104660]:In MSTP process 0原创 2020-09-25 09:43:36 · 4241 阅读 · 0 评论