![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
行思坐忆,志凌云
务实北斗应用之星火,畅想北斗产品之燎原
展开
-
Linux下Hadoop2.7.6集群环境的搭建(超详细版)
本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。 一、基础环境 在Linux上安装Hadoop之前,需要先安装两个程序: 1.1 安装说明 1. JDK 1.6或更高版本(本文所提到的安装的是jdk1.7); 2. SSH(安全外壳协议)...转载 2018-12-10 20:30:55 · 516 阅读 · 0 评论 -
win10编译hadoop-3.X出现 Cannot run program "bash"
问题如下图: 问题解决: 没有安装 msys64原创 2019-08-08 18:00:16 · 1153 阅读 · 0 评论 -
hadoop编译后安装目录分析,安装包在哪?
1.Hadoop编译后的文件目录(这是3.1.1支持zstd压缩版本) hadoop安装包所在地: hadoop-3.1.1-src/hadoop-dist/target/下,如下图 2.hbase编译后的目录结构 hbase安装包所在地:hbase-1.4.10\hbase-assembly\target下,如图: ...原创 2019-07-18 09:30:00 · 678 阅读 · 0 评论 -
hadoop 3.x 启动过程中 Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
出现这种状况是因为当前账号没有配置ssh免密登录 一、创建公钥/私钥 ssh-keygen -t rsa,然后yes加一路回车 二、创建authorized_keys文件并修改权限为600 cd .sshtouch authorized_keyschmod 600 authorized_key...转载 2019-07-11 11:36:24 · 7798 阅读 · 5 评论 -
Centos7下Hadoop3.x源码编译(支持zstd压缩方式)
工具安装 组件 版本 下载地址 JDK 1.8.0_131 https://www.oracle.com/technetwork/java/javase/downloads/index.html Hadoop 3.1.1 http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1-src.ta...转载 2019-07-10 18:21:55 · 1339 阅读 · 0 评论 -
Hadoop伪分布式和完全分布式集群搭建
HDFS伪分布式集群搭建步骤 一、配置免密登录 ssh-keygen -t rsa 1 一句话回车到底 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01 1 跟随提示进行,一般需要yes确认之后输入一次密码就成功了 如果没配置免密登录的话,会出现登录和退出HDFS时,所有节点都需要输一遍密码。(本人亲身实践,虽然还是启动成功了) 二、上传jdk和hado...转载 2019-07-03 15:21:28 · 186 阅读 · 0 评论 -
hadoop官网最新稳定版安装包下载(高效,无毒,简便)
Hadoop是大数据的核心武器,下面来介绍在Windows环境下Hadoop的安装和配置 1.下载Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common 2.解压 hadoop-2.7.3.tar.gz 点右键“解压到hadoop-2.7.3” 文件夹路径 xxx/xxxx/hadoop-2.7.3 复制hadoop-2.7...原创 2019-07-03 14:04:46 · 2551 阅读 · 0 评论 -
在Windows 7中编译Hadoop 2.7.7
一、下载Hadoop2.7.7源码 解压后,查看BUILDING.txt文件,其中详细描述了在windows下编译ha...转载 2019-07-02 15:50:39 · 854 阅读 · 0 评论 -
hadoop之hdfs的基本命令
1.创建目录 hdfs dfs -mkdir /test 1 在HDFS中创建一个名为file的目录,如果它的上级目录不存在,也会被创建,如同linux中的mkidr –p。 hdfs dfs -mkdir -p /test/file 1 2.将本地文件或目录(h.csv)上传到HDFS中的路径( /usr/file)。 hdfs dfs -put h.csv /test/file 1 3.将文件...转载 2019-06-13 16:46:33 · 354 阅读 · 0 评论 -
基于Java实现MapReduce原理
一、原理 二、核心代码翻译 2019-04-08 09:42:27 · 1062 阅读 · 0 评论 -
win7服务器单机安装hadoop
在开始配置前,我们先了解Hadoop的三种运行模式。 Hadoop的三种运行模式 独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行。在独立模式下测试和调试MapReduce程序很方便,因此该模式在开发阶段比较适合。 **伪分布式模式:**Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。 **全分布式模式:**Ha...转载 2019-04-11 11:02:38 · 140 阅读 · 0 评论 -
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 这是因为windows环境变量不兼容的原因 解决办法: 下载winutils地址https://github.com/srccodes/hadoop-common...转载 2019-04-10 17:41:43 · 210 阅读 · 0 评论 -
hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_XXXXXXX
执行mapreduce没报错,可是任务运行到running job就卡住在 INFO mapreduce.Job: Running job: job14039055428930004 解决方法 mapred-site.xml下将 <property>...转载 2019-02-20 14:34:24 · 2854 阅读 · 2 评论 -
java.io.IOException: Could not locate executable ...\bin\winutils.exe in the Hadoop binaries.
windows下运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 这是因为windows环境变量不兼容的原因 解决办法: 下载winutils地址https://github.com/srccodes/hadoop-common...转载 2019-02-18 14:41:07 · 1615 阅读 · 0 评论 -
windows环境下Hadoop配置与hdfs使用(hadoop2.5.2)
刚入门hadoop,开发环境的搭建估计能把一部分人逼走。我也差点疯了。 估计能看到这篇文章的小伙伴们都饱受cygwin和各种配置文件的折磨了吧? 如果你不想在linux上搭建,又不想安装cygwin。那就继续往下看啦~ 步骤: 1. JDK安装(不会的戳这) 2. 下载hadoop2.5.2.tar.gz,或者自行去百度下载。 3. 下载hadooponwindows-m...转载 2019-02-15 15:35:43 · 1794 阅读 · 0 评论 -
windows10环境下编译Hadoop-3.X版本报错:命令行太长
问题描述: windows10环境下编译Hadoop-3.X版本报错:命令行太长 问题分析: 查看报错语句,发现命令行耗费大量篇幅去maven仓库里面寻找jar包。 问题解决: 将maven仓库路径进行修改,如图 这样每寻找一个jar包就会比之前缩减两到三级目录,进行编译,问题解决。 ...原创 2019-08-09 09:53:26 · 498 阅读 · 0 评论