Hadoop
磨刀大神
重视代码品质,扩大技术视野,加深技术深度;
每天学习一点点,坚持下去,就是大神。
展开
-
CDH环境HDFS权限问题
CDH环境下Hadoop平台最高权限用户是hdfs,属于supergroup组。默认HDFS会开启权限认证,所以操作时,需要将root用户切换到hdfs用户,否则会报错。1、创建用户(所有节点)useradd test2、创建用户组 (所有节点)groupadd supergroup3、将用户添加到用户组中(所有节点)usermod -a -G supergroup test...翻译 2020-05-04 11:33:09 · 2670 阅读 · 0 评论 -
hadoop安装及部署
本文主要介绍Hadoop大数据环境的搭建与配置,Hadoop 主要有三大发行版本,Apache 原生态版本是最基本的版本,在企业实际使用当中,并不多;cloudera公司对Apache版本进行开发发行的CDH版本,在国内企业中用的比较多;Hortonworks 公司开发的HDP版本。本文主要介绍的伪分布式环境的搭建,分布式环境的搭建和高可用(HA)环境的搭建。 H...原创 2019-04-06 19:45:51 · 365 阅读 · 0 评论 -
Hadoop学习笔记
1.Log Aggregation 日志聚集,应用运行完成以后,将日志信息上传到HDDFS系统上。配置文件yarn-site.xml<property> <name>yarn.log-aggregation-enable</name> <value>true</value> ...原创 2019-04-07 00:30:38 · 72 阅读 · 0 评论 -
Hadoop学习笔记API(1)wordcount
package com.zhangbk.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache...原创 2019-06-16 15:41:35 · 134 阅读 · 0 评论 -
Hadoop学习笔记(2)
NameNode 内存 本地磁盘 fsimage edits 格式化HDFS,目的就是生成fsimage 0->format 1->fsimage 2->start namenode read fsimage 3->start datanode 注册 ...原创 2019-06-16 15:43:16 · 108 阅读 · 0 评论 -
Hadoop学习笔记API(2)文件读取与上传
package com.zhanbk.hadoop;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStre...原创 2019-06-16 15:51:44 · 187 阅读 · 0 评论