![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
行思坐忆,志凌云
务实北斗应用之星火,畅想北斗产品之燎原
展开
-
Linux下Hadoop2.7.6集群环境的搭建(超详细版)
本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。一、基础环境在Linux上安装Hadoop之前,需要先安装两个程序:1.1 安装说明1. JDK 1.6或更高版本(本文所提到的安装的是jdk1.7);2. SSH(安全外壳协议)...转载 2018-12-10 20:30:55 · 520 阅读 · 0 评论 -
win10编译hadoop-3.X出现 Cannot run program "bash"
问题如下图:问题解决:没有安装 msys64原创 2019-08-08 18:00:16 · 1156 阅读 · 0 评论 -
hadoop编译后安装目录分析,安装包在哪?
1.Hadoop编译后的文件目录(这是3.1.1支持zstd压缩版本)hadoop安装包所在地: hadoop-3.1.1-src/hadoop-dist/target/下,如下图2.hbase编译后的目录结构hbase安装包所在地:hbase-1.4.10\hbase-assembly\target下,如图:...原创 2019-07-18 09:30:00 · 680 阅读 · 0 评论 -
hadoop 3.x 启动过程中 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
出现这种状况是因为当前账号没有配置ssh免密登录 一、创建公钥/私钥ssh-keygen -t rsa,然后yes加一路回车二、创建authorized_keys文件并修改权限为600cd .sshtouch authorized_keyschmod 600 authorized_key...转载 2019-07-11 11:36:24 · 7800 阅读 · 5 评论 -
Centos7下Hadoop3.x源码编译(支持zstd压缩方式)
工具安装组件版本下载地址JDK1.8.0_131https://www.oracle.com/technetwork/java/javase/downloads/index.htmlHadoop3.1.1http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1-src.ta...转载 2019-07-10 18:21:55 · 1345 阅读 · 0 评论 -
Hadoop伪分布式和完全分布式集群搭建
HDFS伪分布式集群搭建步骤一、配置免密登录ssh-keygen -t rsa1一句话回车到底ssh-copy-id -i ~/.ssh/id_rsa.pub root@node011跟随提示进行,一般需要yes确认之后输入一次密码就成功了如果没配置免密登录的话,会出现登录和退出HDFS时,所有节点都需要输一遍密码。(本人亲身实践,虽然还是启动成功了)二、上传jdk和hado...转载 2019-07-03 15:21:28 · 187 阅读 · 0 评论 -
hadoop官网最新稳定版安装包下载(高效,无毒,简便)
Hadoop是大数据的核心武器,下面来介绍在Windows环境下Hadoop的安装和配置1.下载Hadoophttp://www.apache.org/dyn/closer.cgi/hadoop/common2.解压hadoop-2.7.3.tar.gz 点右键“解压到hadoop-2.7.3”文件夹路径 xxx/xxxx/hadoop-2.7.3复制hadoop-2.7...原创 2019-07-03 14:04:46 · 2553 阅读 · 0 评论 -
在Windows 7中编译Hadoop 2.7.7
一、下载Hadoop2.7.7源码解压后,查看BUILDING.txt文件,其中详细描述了在windows下编译ha...转载 2019-07-02 15:50:39 · 855 阅读 · 0 评论 -
hadoop之hdfs的基本命令
1.创建目录hdfs dfs -mkdir /test1在HDFS中创建一个名为file的目录,如果它的上级目录不存在,也会被创建,如同linux中的mkidr –p。hdfs dfs -mkdir -p /test/file12.将本地文件或目录(h.csv)上传到HDFS中的路径( /usr/file)。hdfs dfs -put h.csv /test/file13.将文件...转载 2019-06-13 16:46:33 · 356 阅读 · 0 评论 -
基于Java实现MapReduce原理
一、原理二、核心代码翻译 2019-04-08 09:42:27 · 1062 阅读 · 0 评论 -
win7服务器单机安装hadoop
在开始配置前,我们先了解Hadoop的三种运行模式。Hadoop的三种运行模式独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行。在独立模式下测试和调试MapReduce程序很方便,因此该模式在开发阶段比较适合。**伪分布式模式:**Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。**全分布式模式:**Ha...转载 2019-04-11 11:02:38 · 140 阅读 · 0 评论 -
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.这是因为windows环境变量不兼容的原因解决办法:下载winutils地址https://github.com/srccodes/hadoop-common...转载 2019-04-10 17:41:43 · 210 阅读 · 0 评论 -
hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_XXXXXXX
执行mapreduce没报错,可是任务运行到running job就卡住在INFO mapreduce.Job: Running job: job14039055428930004解决方法 mapred-site.xml下将<property>...转载 2019-02-20 14:34:24 · 2858 阅读 · 2 评论 -
java.io.IOException: Could not locate executable ...\bin\winutils.exe in the Hadoop binaries.
windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.这是因为windows环境变量不兼容的原因解决办法:下载winutils地址https://github.com/srccodes/hadoop-common...转载 2019-02-18 14:41:07 · 1621 阅读 · 0 评论 -
windows环境下Hadoop配置与hdfs使用(hadoop2.5.2)
刚入门hadoop,开发环境的搭建估计能把一部分人逼走。我也差点疯了。 估计能看到这篇文章的小伙伴们都饱受cygwin和各种配置文件的折磨了吧?如果你不想在linux上搭建,又不想安装cygwin。那就继续往下看啦~步骤: 1. JDK安装(不会的戳这) 2. 下载hadoop2.5.2.tar.gz,或者自行去百度下载。 3. 下载hadooponwindows-m...转载 2019-02-15 15:35:43 · 1804 阅读 · 0 评论 -
windows10环境下编译Hadoop-3.X版本报错:命令行太长
问题描述:windows10环境下编译Hadoop-3.X版本报错:命令行太长问题分析:查看报错语句,发现命令行耗费大量篇幅去maven仓库里面寻找jar包。问题解决:将maven仓库路径进行修改,如图这样每寻找一个jar包就会比之前缩减两到三级目录,进行编译,问题解决。...原创 2019-08-09 09:53:26 · 504 阅读 · 0 评论