hadoop
文章平均质量分 73
好刹那
这个作者很懒,什么都没留下…
展开
-
Hadoop:Hive metastore三种配置方式
Hive metastore三种配置方式Hive的meta数据支持以下三种存储方式,其中两种属于本地存储,一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式,链接为:Hive Metastore。一、本地derby这种方式是最简单的存储方式,只需要在hive-site.xml做如下配置便可[html]view plainc...转载 2020-01-11 13:41:55 · 639 阅读 · 0 评论 -
Hadoop:namenode访问端口2.x默认50070与3.x默认9870
Hadoop2.x的namenode界面访问端口默认是:50070Hadoop3.x的namenode界面访问端口默认是:9870通过修改hdfs-site.xml中dfs.namenode.http-address参数来修改: cd $HADOOP_HOME vi etc/hadoop/hdfs-site.xml ...原创 2020-01-10 00:22:05 · 8784 阅读 · 0 评论 -
Hadoop : datanode运行不起来 报错 Initialization failed for Block pool (Datanode Uuid unassigned)
一、原因是namenode和datanode的clusterID不一致导致datanode无法启动.二、解决:2.1思路:删除data、tmp、namenode 数据后,重新格式化。2.2步骤:查看tmp的物理路劲 core-site.xml <!-- Hadoop文件系统依赖的基础配置 --> <property> <name>ha...转载 2020-01-02 23:56:17 · 1353 阅读 · 2 评论 -
CDH 6.3.x 各组件版本
信息来自官网:https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_packaging.htmlCDH 6.3.2 PackagingComponent Component Version Changes Information Apache Avro ...原创 2019-12-29 22:46:15 · 7609 阅读 · 0 评论 -
Hadoop虚拟机镜像
Hadoop虚拟机镜像前言:大数据、机器学习、深度学习、人工智能,这一IT浪潮不可谓不火。上至国家战略,下到普通老板姓茶余饭后谈资。作为一名IT从业者,我也从传统JAVA投身于这一波技术研发中。在开始学习hadoop大数据时,在搭建机器、搭建集群时花费了太多的时间,甚至有时因为最初的配置错误导致从头再来。左右互看,发现很多一起研究的伙伴,因为环境浪费大量时间,消耗了耐心和热情,导致最后放弃。我一直在原创 2017-07-02 23:21:37 · 6011 阅读 · 8 评论 -
CDH5集群中修改节点IP
第一步,关闭服务 1. 关闭集群服务,及 Cloudera Management Service, 2. 关闭cm服务:( cm安装节点 ) 命令 : service cloudera-scm-server stop service cloudera-scm-agent stop( 没有可忽略 )第二步:修改所有主机IP,测试IP网络互通...原创 2019-04-14 12:20:19 · 783 阅读 · 0 评论