![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
程序员惜时
惜时
展开
-
java.lang.NoClassDefFoundError: scala/Function1
本地测试spark项目的时候报错Exception in thread “main” java.lang.NoClassDefFoundError: scala/Function1at com.whzy.B102.WordCount.main(WordCount.scala)Caused by: java.lang.ClassNotFoundException: scala.Function...原创 2020-03-01 15:54:19 · 3144 阅读 · 0 评论 -
flume安装 and 官方小案例
1. flume概述及组成架构Flume概念Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单Flume的最主要左右是:实时读取服务器本地磁盘的钱数据,将数据写入到HDFS。Flume组成架构AgentSource ————> Channel ————>SinkFlume组成架构详解...原创 2020-01-11 15:42:30 · 203 阅读 · 0 评论 -
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
2019-12-24T13:27:26,867 WARN [main] ql.Driver: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or usi...原创 2019-12-24 14:02:16 · 3337 阅读 · 0 评论 -
MapReduce工作流程
MapReduce 详细工作流程Map阶段整个Map阶段流程大体为下图所示Map阶段 简单概述:首先 input File 通过split 切分为多个 split文件 通过 Record按行读取内容给map 进行处理 ,数据被map处理结束之后交给OutputCollector 收集器 之后对结果key 进行分区 (默认是hash分区)之后写入buffer 每个map task里面都有一个环...原创 2019-12-06 11:16:38 · 217 阅读 · 0 评论 -
记录一次小小的namenode挂掉
为了演示SecondaryNameNode是如何恢复namenode的第一步 当然是直接用法kill -9 NameNode进程号意外结束namenode进程第二步. 进入namenode里面的/home/whzy/hadoopdata/dfs/name这个目录 rm -rf name/* 删除name里面所有数据 表示namenode数据丢失第三步 进入salve1主机(里面配置了s...原创 2019-11-30 20:35:10 · 833 阅读 · 1 评论 -
Windows IDEA 操作Hadoop集群的小问题
在idea中maven 使用@Test 出错配置完junit之后依旧报错 此时mave代码如下 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1<...原创 2019-11-29 12:49:10 · 246 阅读 · 0 评论 -
在Windows10 系统 安装Hadoop2.7.3的小问题
安装Hadoop2.7.3下载Hadoop2.7.3Hadoop2.7.3我们下载这个Hadoop-2.7.3.tar.gz进入Hadoop-2.7.3.tar.gz 的安装目录 用WinRAR解压解压之后遇到问题解决办法 打开命令行进入到Hadoop-2.7.3.tar,gz的目录执行该命令start winrar -y hadoop-2.7.3.tar.gz之后通过打开...原创 2019-11-28 21:32:38 · 152 阅读 · 0 评论 -
Hadoop配置文件
masterslave1slave2HDFSResourceManagerSecondaryNameNodeNameNodeDataNodeDataNodeDataNodeNodeManagerNodeManagerNodeManagerYARN注意:本实验将按照三个节点表格来进行部署。由于笔者时间关系暂...原创 2019-11-27 22:04:25 · 134 阅读 · 0 评论