大数据篇之Hdfs
whjcsdnwhj
这个作者很懒,什么都没留下…
展开
-
hodoop伪分布配置详细步骤
Hadoop作为大数据框架的一个基础,有着举足轻重的作用和地位,hadoop有三种搭建模式,即本地模式、伪分布模式和分布式,本地模式由于几乎用不到,不做过多介绍,分布式的搭建后续会进行补充,本文主要讲解分布式的搭建流程。原创 2017-08-20 20:53:25 · 1206 阅读 · 0 评论 -
本地编译Hadoop2.9.1源码总结
目录 一、文档编写的目的二、编译要求三、软件安装3.1 安装JDK3.2 安装各种库3.3 安装maven3.4 安装protocolBuffer3.5 安装findbugs四、开始编译五、编译中可能遇到的问题一、文档编写的目的当在Windows平台安装hadoop时,或者添加Hadoop一些额外功能时,需要对Hadoop源码进行编译,本文以Ha...原创 2018-08-29 16:41:05 · 1490 阅读 · 1 评论 -
Hapood端口及配置说明
目录 一、文档编写的目的二、获取默认配置三、常用的端口配置3.1 HDFS端口3.2 MR端口3.3 其他端口 一、文档编写的目的hadoop主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop...原创 2018-08-29 10:35:11 · 967 阅读 · 0 评论 -
Hadoop警告:WARN util.NativeCodeLoader
目录 一、原因分析二、解决办法一、原因分析当hadoop配置完成运行类似 bin/hdfs dfs ....之类的命令时,有时候会出现以下警告:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes w...原创 2018-08-29 17:30:08 · 10972 阅读 · 2 评论