Hadoop
hxhh
研发+产品,分享一些工作实用技巧和干货,共勉
展开
-
org.apache.hadoop.mapred.FileAlreadyExistsException 解决方案
Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory temp/preparePreferenceMatrix/itemIDIndex already exists 然而这个目录通过Hadoop的web界面并查询不到!! 解决方法:(直接remove掉在...原创 2018-10-08 22:12:34 · 5318 阅读 · 0 评论 -
Name node is in safe mode. 报错解决
错误如下: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/local/hadoop-2.7.4. Name node is in safe mode 报错原因: Name node在safe mode,安全模式下不可以实现增删改操作。 解决方案: 到Hadoop的安装目录下: bin/hadoop dfsadmin -...原创 2018-10-18 21:09:15 · 2490 阅读 · 0 评论 -
Hadoop基础(一):简介
Hadoop简介: 1.Hadoop 是 Apache 旗下的一个用 java 语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。 允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 狭义上说,Hadoop 指 Apache 这款开源框架,它的核心组件有: ① HDFS(分布式文件系统):解决海量数据存储 ② YARN(作业调度和集群资源管理的框架、提供资源和平...原创 2019-09-29 10:28:39 · 411 阅读 · 0 评论