大数据开发
文章平均质量分 76
Lcreator
这个作者很懒,什么都没留下…
展开
-
解决hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/ap
目录问题描述解决思路问题描述今天我在idea中运行自定义outputformate类的时候遇到的问题org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z,之前的wordcountdemo是自己打成jar包放到hadoop集群中运行,没有任何问题,就是很麻烦所以尝试使用window本地去调试结果,结果就报了错误。我用的是window10系统,hadoop-3.1.3解..原创 2021-03-04 19:07:16 · 16979 阅读 · 5 评论 -
Hadoop环报错Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd
配置Hadoop环境,在cmd中输入hadoop version发现报错:Error: JAVA_HOME is incorrectly set.Please update C:\hadoop-3.1.2\etc\hadoop\hadoop-env.cmd原因是Hadoop里的Java路径配置不对。1、打开D:\hadoop-3.1.3\etc\hadoop\hadoop-env.cmd这个文件,配置的JAVA_HOME是系统里的环境变量。2.去系统变量里查看JAV.原创 2021-03-04 18:58:35 · 8568 阅读 · 4 评论 -
大数据开发之Hadoop学习7--HDFS客户端操作
HDFS客户端操作(开发重点)目录HDFS客户端操作(开发重点)3.1 HDFS客户端环境准备3.2 HDFS的API操作3.2.1 HDFS文件上传(测试参数优先级)3.2.2 HDFS文件下载3.2.3 HDFS文件夹删除3.2.4 HDFS文件名更改3.2.5 HDFS文件详情查看3.2.6 HDFS文件和文件夹判断3.1 HDFS客户端环境准备1)下载回来的Hadoop-3.1.0.tar.gz解压,然后找网盘的hadooponwindows-mast原创 2021-03-01 01:07:25 · 506 阅读 · 0 评论 -
大数据开发之Hadoop学习6--HDFS的Shell操作
HDFS的Shell操作(开发重点)目录HDFS的Shell操作(开发重点)2.1 基本语法2.2 命令大全2.3 常用命令实操2.3.1 准备工作2.3.2 上传2.3.3 下载2.3.4 HDFS直接操作2.1 基本语法bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令两个是完全相同的。2.2 命令大全[atguigu@hadoop102 hadoop-3.1.3]$ bin/hadoop fs[-app...原创 2021-03-01 00:40:55 · 238 阅读 · 0 评论 -
大数据开发之Hadoop学习5--HDFS概述
HDFS概述目录1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小1.1 HDFS产出背景及定义1.2 HDFS优缺点1.3 HDFS组成架构1.4 HDFS文件块大小原创 2021-03-01 00:36:21 · 126 阅读 · 0 评论 -
大数据开发之Hadoop学习4---环境搭建常见错误及解决方案
常见错误及解决方案1)防火墙没关闭、或者没有启动YARNINFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:80322)主机名称配置错误3)IP地址配置错误4)ssh没有配置好5)root用户和atguigu两个用户启动集群不统一6)配置文件修改不细心7)未编译源码Unable to load native-hadoop library for your platfo原创 2021-03-01 00:29:30 · 351 阅读 · 0 评论 -
大数据开发之Hadoop学习3--Hadoop运行模式
Hadoop运行模式目录Hadoop运行模式4.1 本地运行模式(官方wordcount)4.2 完全分布式运行模式4.2.1 虚拟机准备4.2.2 编写集群分发脚本xsync4.2.3 SSH无密登录配置4.2.4 集群配置4.2.5 群起集群4.2.6 集群启动/停止方式总结4.2.7 配置历史服务器4.2.8 配置日志的聚集4.2.9 集群时间同步Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。Hadoop官方网站:.原创 2021-03-01 00:25:00 · 1135 阅读 · 2 评论 -
大数据开发之Hadoop学习2--Hadoop运行环境搭建
Hadoop运行环境搭建目录Hadoop运行环境搭建3.1 虚拟机环境准备3.2 在102安装JDK3.3 在102安装Hadoop3.4 Hadoop目录结构3.1 虚拟机环境准备1)准备三台虚拟机,虚拟机配置要求如下:(1)单台虚拟机:内存4G,硬盘50G,安装必要环境sudo yum install -y epel-releasesudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzs原创 2021-03-01 00:10:22 · 377 阅读 · 0 评论 -
大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态
从Hadoop框架讨论大数据生态目录从Hadoop框架讨论大数据生态2.1 Hadoop是什么2.2 Hadoop发展历史(了解)2.3 Hadoop三大发行版本(了解)2.4 Hadoop的优势(4高)2.5 Hadoop组成(面试重点)2.5.1 HDFS架构概述2.5.2 YARN架构概述2.5.3 MapReduce架构概述2.6 大数据技术生态体系2.7 推荐系统框架图2.1 Hadoop是什么2.2 Hadoop发展历史(了解)原创 2021-02-28 12:07:41 · 333 阅读 · 0 评论