![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 83
力扣小男孩
菜鸟的进阶之路。
展开
-
大数据学习路线
偶遇年薪30w大数据学习路线,努力追求一下。一、Hadoop入门,了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、Hadoop生态圈以及各组成部分的简介7、Hadoop核心MapReduce例子说明二、分布式文件系统HDFS,是数据库管理员的基础课程1...转载 2018-04-07 15:21:39 · 129 阅读 · 0 评论 -
Hadoop伪分布式集群搭建过程及避坑指南
一个偶然的机会,让我进了hadoop这个坑。我不得不说,Google真是个非常厉害的公司。为计算机行业贡献了很多亮瞎双眼额技术。初入Hadoop一般都要了解HDFS,YARN,Mapreduce。现在来总结一下Hadoop分布式集群的搭建过程。1.首先准备好相应的安装包,同时在你的服务器上配置好jdk。完成后通过tar -zxvf jdk.tar.gz(文件名)进行解压进入jdk 目录 输入pwd...原创 2018-06-11 22:42:35 · 2641 阅读 · 0 评论 -
Java api 操作hdfs
首先我们需要启动hdfs,其次需要掌握hdfs相关的shell,比如查看文件 hadoop fs -ls /。可以查看一级目录下的文件情况。主要是加一个前缀 hadoop fs。其余的命令大体与linux shell类似。大神们一般都用hadoop fs 直接查看相关的命令。言归正传,首先创建一个maven项目,导入相关的依赖。<project xmlns="http://maven.apa...原创 2018-06-12 09:16:35 · 154 阅读 · 0 评论 -
File /hdfsapi/test/a.txt could only be replicated to 0 nodes instead of minReplication (=1).
上一篇博客写了java api操作hdfs,这里我记录一下期间遇到的一个问题。在我使用api在远程目录创建文件的过程中,遇到了这样的问题:org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hdfsapi/test/a.txt could only be replicated to 0 nodes instead of...原创 2018-06-12 10:03:58 · 1602 阅读 · 3 评论 -
java.io.IOException: All specified directories are failed to load
2018-06-01 17:01:27,102 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /home/hadoop/app/tmp/dfs/data: namenode clusterID = CID-64018bcc-836c-4a42-92...原创 2018-06-01 17:21:07 · 1068 阅读 · 0 评论