![](https://img-blog.csdnimg.cn/20210504132801742.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 67
Hadoop相关技术
搬金砖的小白
热爱生活,热爱技术
展开
-
【Hadoop】Hadoop3 MapReduce 基础
文章整理自尚硅谷B站视频:https://www.bilibili.com/video/BV1Qp4y1n7EN?t=7&p=39文章目录一、MapReduce概述1.1 MR核心思想1.2 MR进程1.3 常用数据序列化类型1.4 MR 编程规范1.5 WordCount 案例1.5.1 分析1.5.2 代码1.5.2.1 Mapper1.5.2.2 Reducer1.5.2.3 Driver1.5.2.4 执行二、Hadoop 序列化2.1 序列化概述2.2 自定义序列化步骤2.3 序列化案例原创 2021-05-06 14:01:31 · 757 阅读 · 0 评论 -
【Hadoop】Hadoop3 HDFS 基础
文章整理自尚硅谷B站视频:https://www.bilibili.com/video/BV1Qp4y1n7EN?t=7&p=39文章目录〇、要点一、HDFS 概述1.1 HDFS 的产生背景和定义1.2 HDFS 的优缺点1.3 HDFS 的组成1.4 HDFS 的文件块大小二、HDFS 的 Shell 操作2.1 基本语法2.2 命令大全三、HDFS 的客户端 API四、HDFS 的读写流程4.1 HDFS 写数据流程4.1.1 文件写入4.1.2 网络拓扑 - 节点距离计算4.1.3 机架原创 2021-04-30 13:16:31 · 250 阅读 · 0 评论 -
chown: changing ownership of ‘/myfile‘: Cannot set owner for /myfile. Name node is in safe mode.
修改文件权限时:日志[hadoop@node102 hadoop]$ hdfs dfs -chown -R hadoop /myfile2chown: changing ownership of '/myfile2': Cannot set owner for /myfile2. Name node is in safe mode.解决办法hadoop 关闭 safemode :hdfs dfsadmin -safemode leave如需开启:hdfs dfsadmin -safemo原创 2021-04-29 20:03:42 · 423 阅读 · 0 评论 -
org.apache.hadoop.security.AccessControlException: Permission denied: user=Dell, access=WRITE
Win10 Dell 主机 Java 访问 Linux HDFS 时报错:日志Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=Dell, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissio原创 2021-04-29 19:46:34 · 1344 阅读 · 1 评论 -
【Hadoop】Hadoop3基础
文章整理自:https://www.bilibili.com/video/BV1Qp4y1n7EN?t=7&p=39文章目录〇、要点一、概念1.1 Hadoop是什么1.2 Hadoop发展历史1.3 Hadoop的三大发行版本1.4 Hadoop的优势1.5 Hadoop的组成1.5.1 HDFS架构概述1.5.2 Yarn架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、Yarn、MapReduce三者的关系1.6 大数据技术生态体系1.7 推荐系统案例二、环境准备2.1 模原创 2021-04-27 16:20:56 · 614 阅读 · 0 评论 -
【Hadoop】主机访问虚拟机HDFS(Java)
0 前期准备关闭防火墙:https://blog.csdn.net/Tiezhu_Wang/article/details/113861262设置固定IP:https://blog.csdn.net/Tiezhu_Wang/article/details/1138223621 修改配置文件1.1 core-site.xmlgedit /usr/local/hadoop-3.2.1/etc/hadoop/core-site.xml将fs.defaultFS的值修改为虚拟机的IP+端口:<原创 2021-02-21 16:13:56 · 2186 阅读 · 0 评论 -
【Hadoop】Hadoop Shell命令
官方文档http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html转载 2021-02-21 11:05:09 · 135 阅读 · 0 评论 -
【Hadoop】Hadoop安装与配置(伪分布式)
0 前期准备Linux的Java环境配置:https://blog.csdn.net/Tiezhu_Wang/article/details/1138229491 下载官网:https://hadoop.apache.org/releases.html或 百度云:链接:https://pan.baidu.com/s/1XHwHfBIu3fFSnqmtuH1p_A (提取码:xysm)2 安装将hadoop安装到/usr/local目录下:sudo tar -zxf ~/Downloads/h原创 2021-02-19 12:23:56 · 937 阅读 · 0 评论