![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式存储
文章平均质量分 94
JayLaiSCUT
从事大数据平台和后端开发工作,热爱IT新技术,热爱开源
展开
-
Ubuntu14上搭建HIVE-1.1.0-CDH5.9.3
1 安装HadoopHive是建立在Hadoop上的一个数仓工具,说简单点就是真实数据存储在HDFS上。因此需要先安装Hadoop,详见博文hadoop-2.6.0-cdh完全分布式集群的搭建。2 安装MySQLHive是将结构化的数据文件映射为一张表,映射关系需要存放在数据库上。博主选用MySQL数据库存储HIVE元数据信息。MySQL的按装详见在Ubuntu14中安装MySQL数据库并使...原创 2020-02-14 02:09:00 · 394 阅读 · 0 评论 -
数仓工具Hive必知必会
1 Hive架构图1.1 客户端用户通过客户端访问Hive,简单查询一般在Linux上使用belline进行交互;对于Java程序,可以通过JDBC访问Hive。1.2 Metastore元数据相关,Hive默认存储在Derby数据库,缺点用户不能同时执行两个Hive CLI实例,因此实际生产中常常使用Mysq进行替代。1.3 解析器、编译器、优化器和执行器1)解析器:将SQL字符串转换成抽象语法树AST,这一步一般都用第三方工具库完成,比如antlr;对AST进行语法分析,比如表是否存在、字段原创 2020-07-26 21:22:36 · 453 阅读 · 0 评论 -
Elasticsearch环境错误排查
1 ES启动后,本机可以通过localhost访问,但无法通过IP发访问修改配置文件vim ${ES_HOME}/config/elasticsearch.yml 新增如下配置:http host: "[::]"重启ES即可。2 ES启动后,外网无法访问或者外网IP被防火墙拦掉了,用户根据公司环境选择暂时关闭或者永久关闭防火墙。1)暂时关闭防火墙systemctl stop firewalldservice iptables stop2)永久关闭防火墙systemctl dis原创 2020-07-25 17:48:20 · 2646 阅读 · 2 评论 -
《Hadoop权威指南》读书笔记——MapeReduce入门
1 MR的原理MapeReduce(简称MR)的是大数据计算引擎,相对于Linux awk等工具而已,最大的优势是可以分布式执行,充分利用计算机的多核性能。一个MR作业(job)是客户端需要执行的一个工作单元,包括输入数据、MR程序和配置信息。作业又可以分成若干个任务(task)来执行,包括map任务和reduce任务。原始数据被MR按照HDFS的快大小(默认128M)分片(split),每一个片是启动一个map任务,计算完的中间结果暂时存在本地。reduce拉取中间结果后进行计算输出最终结果,如下图所原创 2020-07-02 20:28:35 · 5716 阅读 · 0 评论 -
Ununtu14上安装Elasticsearch5.x及其可视化插件Elasticsearch-Head
在Ununtu14上安装大数据搜索引擎ElasticSearch及其可视化插件ElasticSearch-Head,并解决两者连接的跨域问题。原创 2019-06-17 23:09:42 · 2495 阅读 · 0 评论 -
hadoop-2.6.0-cdh完全分布式集群的搭建
在Ubuntu 上搭建hadoop-2.6.0-cdh分布式集群1 虚拟机配置2 集群网络配置2.1 修改主机名2.2 添加映射3 集群ssh免密登录配置3.1 生成公钥和私钥3.2 将公钥复制到远程机器中3.3免密ssh登陆测试4 在主节点安装JDK和Hadoop4.1 安装jdk4.2 安装hadoop5 Hadoop集群主节点配置5.1 配置环境变量5.2 开放端口号和指定临时文件夹5.3 ...原创 2018-11-21 22:41:05 · 3736 阅读 · 0 评论 -
zookeeper完全分布式安装教程
介绍zookeeper集群的搭建方式和常用命令原创 2019-08-14 00:01:54 · 913 阅读 · 0 评论 -
kafka性能调优
本文主要介绍1)使用Kafka过程中遇到bug和解决方法 2)如何通过调节参数,优化Kafka集群原创 2019-09-23 00:07:51 · 229 阅读 · 0 评论 -
分布式存储HDFS必知必会
分布式文件系统HDFS的设计原理原创 2020-07-22 22:57:15 · 5573 阅读 · 1 评论