Hadoop
文章平均质量分 57
想念是会呼吸的鱼
码代码,持续学习,项目输出
展开
-
hive问题
hive启动报错问题描述:hive启动程序报错错误Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "HikariCP" plugin to create a ConnectionPool gave an error : Failed to initialize pool: null, message from server: "Host '192.168.1.111' is blocked be原创 2021-03-30 11:23:56 · 1695 阅读 · 0 评论 -
hive
hive安装笔记Hive 安装及配置1 上传2 解压3 改名4 hive-env.sh5 元数据配置到 MySql5.1驱动拷贝5.2配置 Metastore 到 MySql4.1.5 启动Hadoop 集群4.1.6 Hive 基本操作Hive 安装及配置1 上传把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下2 解压解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面[user原创 2021-03-15 10:11:43 · 76 阅读 · 0 评论 -
azkaban 3.51.0 安装笔记(三)--------双服模式(two Server)
azkaban 3.51.0 安装笔记(三)--------双服模式(two Server)环境 centos7 Hadoop+hive+JDK1.81.准备数据库登录MySQL(1) create database azkaban;(2) create user 'azkaban'@'%' identified by 'azkaban';(3) grant all privileges on azkaban.* to 'azkaban'@'%' identified by 'azkaban'原创 2021-01-22 10:21:51 · 185 阅读 · 0 评论 -
azkaban 3.51.0 安装笔记(二)--------单服模式(solo)
azkaban 3.51.0 安装笔记(二)--------单服模式(solo)环境 centos7 Hadoop+hive+JDK1.8SOLO Server 使用的是单节点模式,只需要一个压缩包即可 :azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz1.解压至目标文件夹2.切换至azkaban的conf目录下,修改文件azkaban.properties,更改时区为亚洲/上海3.关闭内存检查,azkaban对内存有要求,未符合要求就不能运行,关闭检查内存原创 2021-01-20 14:23:57 · 124 阅读 · 0 评论 -
azkaban 3.51.0 安装笔记(一)--------编译
azkaban 3.51.0 安装笔记(一)--------编译环境 centos7 Hadoop+hive+JDK1.8Azkaban组件:(1) Exec Server 是负责任务的执行(2)Web Server 负责人物的页面显示和其他的调度(3)数据库三种安装模式:单服务模式:Exec Server和Web Server放在在同一个进程中,用一个程序就可以执行,默认H2数据库Two Server模式:Exec Server和Web Server放在在不同进程中,数据库使用Mysql原创 2021-01-20 10:55:30 · 229 阅读 · 0 评论 -
hadoop显示只有一个datanode节点启动
问题描述:Hadoop集群启动正常,所有节点正常启动,WebUI 界面正常展示,但是Web界面上只显示一个datanode节点在LIve Nodes查看配置文件全部没问题,集群三台主机节点正常,数据节点只显示一台,说明集群将三个数据节点识别为一个,那么datanode节点VERSION是一致的集群设置的临时数据位置在 /opt/module/hadoop-3.1.4/data/tmp/dfs/data/current/ 发现storageID和datanodeUuid是一致的,所以修改stora原创 2020-12-30 10:44:46 · 2652 阅读 · 3 评论 -
MapReduce编程规范
Mapreduce开发八步走Map阶段Shuffle阶段Reduce阶段Map阶段1.设置InputFormat类(抽象类–>使用子类)–>决定原文件的读取方式,将数据切分为K-V对2.自定义Map逻辑(extends Mapper类),按逻辑将第一步结果转换成新的K-V对Shuffle阶段3.对输出的K-V对进行分区4.对不同的分区数据按照相同的Key排序5.对分组过的数据初步聚合(减少网络传输数据量)6.对数据进行分组,相同的Key的Value放入到一个集合中Reduce阶原创 2020-12-21 16:18:03 · 90 阅读 · 0 评论