![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 75
Wang_Zhenwei
这个作者很懒,什么都没留下…
展开
-
Hadoop错误10_bash: hadoop: command not found问题解决
执行 hadoop dfsadmin -safemode leave 命令时,遇到下面的问题:[root@Slave1 bin]# hadoop dfsadmin -safemode leavebash: hadoop: command not found原因是/etc/profile里面没有进行hadoop的相关配置对该文件进行修改并使其生效:[root@Slave1 had原创 2016-01-18 09:15:24 · 26196 阅读 · 2 评论 -
Hadoop错误5_配置Hadoop环境变量时export‘=’not a valid identifier的一个原因
该问题出现在配置Hadoop环境变量时,经过查找资料,发现问题原因,并根据说明解决。资料原文:这个问题至少让我损失了2个小时,终于在stackoverflow上找到原因You cannot put spaces around the = sign when you do:export foo=barRemove the spaces you ha原创 2015-08-24 10:48:45 · 4916 阅读 · 1 评论 -
Hadoop错误6_WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform问题总结
在Ubuntu上安装完hadoop2.4以后,使用以下命令:hadoop fs -ls14/09/09 11:33:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFoun转载 2015-08-24 19:27:21 · 3333 阅读 · 0 评论 -
Ubuntu系统下的Hadoop集群(7)_设置Linux环境变量的方法和区别
设置Linux环境变量的方法和区别_Ubuntu设置 Linux 环境变量可以通过 export 实现,也可以通过修改几个文件来实现,有必要弄清楚这两种方法以及这几个文件的区别。通过文件设置 Linux 环境变量首先是设置全局环境变量,对所有用户都会生效:etc/profile: 此文件为系统的每个用户设置环境信息。当用户登录时,该文件被执行一次,并从转载 2015-08-25 10:25:50 · 734 阅读 · 0 评论 -
Hadoop错误7_CentOS下Hadoop环境配置,普通用户jps无响应,但root用户有响应
jps(Java Virtual Machine Process Status Tool)是JDK提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。安装完jdk后,需要进行一下配置,(注:设置环境变量)vim /etc/profile编辑/etc/profile文件(注:在文件末尾插入下原创 2015-08-25 20:25:12 · 2375 阅读 · 0 评论 -
Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
文件配置:(注:修改配置文件需要使用root用户,否则修改失败)vim /etc/sysconfig/network修改主机名为:HOSTNAME=Mastervim /etc/sysconfig/network-scripts/ifcfg-eth0查看IP地址、网关、DNS服务器是否正确vim /etc/sysconfig/network-scripts/ifcgf-et原创 2015-08-27 13:51:07 · 1084 阅读 · 0 评论 -
Hadoop错误8_dfsadmin -report后livenodes为0 或 报错could only be replicated to 0 nodes, instead of 1
题目中的两个描述相同,发生在Hadoop环境配置过程中,首次初始化后,启动sbin/start-dfs.shsbin/start-yarn.sh然后jps查看,namenode和datanode正常启动,继续往下进行,sbin/stop-dfs.shsbin/stop-yarn.sh然后又正常关闭,但是,继续验证是否配置成功时,bin/hdfs dfsa原创 2015-08-27 14:17:41 · 2332 阅读 · 0 评论 -
Hadoop学习2_Hadoop完全分布式的Eclipse开发环境配置
Hadoop安全分布式的Eclipse开发环境配置 安装Eclipse:详细见教程:http://blog.csdn.net/wang_zhenwei/article/details/48032001 安装Hadoop-Eclipse-Plugin:下载 hadoop2x-eclipse-plugin ,将 release 中的 hadoop-eclipse-kepler-原创 2015-08-28 15:55:50 · 2985 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第9期)_MapReduce初级案例
Hadoop集群(第9期)_MapReduce初级案例1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。转载 2015-08-29 11:46:54 · 915 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第8期)_HDFS初探之旅
Hadoop集群(第8期)_HDFS初探之旅1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的转载 2015-08-29 11:18:34 · 933 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第10期)_MySQL关系数据库
Hadoop集群(第10期)_MySQL关系数据库1、MySQL安装 MySQL下载地址:http://www.mysql.com/downloads/1.1 Windows平台 1)准备软件 MySQL版本:mysql-5.5.21-win32.msi 2)安装环境: 操作系统:Windows 7旗舰版 3)开始安装 第一转载 2015-08-29 14:35:36 · 772 阅读 · 0 评论 -
Hadoop学习3_在HADOOP集群中添加节点和删除节点
无论是在Hadoop集群中添加机器和删除机器,都无需停机,整个服务不中断。本次操作之前,Hadoop的集群情况如下:HDFS的机器情况如下:MR的机器情况如下:添加机器在集群的Master机器中,修改$HADOOP_HOME/conf/slaves文件,在其中添加需要加入集群的新机器(hp3)的主机名:hp3hp2dell1转载 2015-09-01 19:53:57 · 912 阅读 · 0 评论 -
Hadoop学习4_CentOS6.5系统下Hadoop2.6.0集群增加机器详细操作
说明:操作前,集群下已有两台机器,Master和Slave1192.168.154.156 Master192.168.154.158 Slave1 操作是增加一台Slave2192.168.154.159 Slave2 文件配置:在Master下,vim /etc/hosts修改结果为192.168.154.156 Master192.168原创 2015-09-02 09:57:44 · 711 阅读 · 0 评论 -
Hadoop错误9_解决Hadoop的Safe mode is ON问题
好久没启动Hadoop集群,今天启动后发现出了一些问题。启动后,输入jps命令,发现Namenode节点没有启动,问题描述如下:[hadoop@Master hadoop]$ jps33100 ResourceManager33358 Jps32957 SecondaryNameNode同样,输入bin/hdfs dfsadmin -report查看各个节点的状态,也显示失败:[原创 2015-09-24 10:45:24 · 8831 阅读 · 1 评论 -
Hadoop学习5_Hadoop:hdfs-site.xml,mapred-site.xml,core-site.xml 配置项清单
hdfs-site.xml配置项清单:清单中涉及的专业词语使用如下简称NN:NameNodeDN:DataNodeSNN:SecondaryNameNode 属性 值说明 dfs.namenode.handler.count10NN启动后开启的线程数。dfs.name.dir转载 2015-09-02 10:24:50 · 4085 阅读 · 2 评论 -
Hadoop学习6_基于hadoop2.2.0 的 hadoop2.0 yarn 总结
为什么使用hadoop?在单机程序设计中,为了快速处理一个大的数据集,通常采用多线程并行编程,如图所示,大体流程如下:先由操作系统启动一个主线程,由它负责数据切分、任务分配、子线程启动和销毁等工作,而各个子线程只负责计算自己的数据,当所有子线程处理完数据后,主线程再退出。这种方式依然受限于一台计算机的处理能力,另外某些数据集的增长会超出一台计算机的处理能力。这时可以将大数据切分成多转载 2016-09-20 10:14:50 · 587 阅读 · 0 评论 -
Hadoop学习7_MapReduce 应用:TF-IDF 分布式实现
概述本文要说的 TF-IDF 分布式实现,运用了很多之前 MapReduce 的核心知识点。算是 MapReduce 的一个小应用吧。版权说明著作权归作者所有。 商业转载请联系作者获得授权,非商业转载请注明出处。 本文作者:Q-WHai 发表日期: 2016年6月24日 本文链接:http://blog.csdn.net/lemon_tree1213转载 2016-10-13 14:38:58 · 744 阅读 · 0 评论 -
Hadoop学习8_hadoop入门手册4:Hadoop【2.7.1】初级入门之命令:文件系统shell1
问题导读1.Hadoop文件系统shell与Linux shell有哪些相似之处?2.如何改变文件所属组?3.如何改变hdfs的文件权限?4.如何查找hdfs文件,并且不区分大小写?概述文件系统 (FS) shell 包括各种类似的命令直接与 Hadoop Distributed File System (HDFS)交互。hadoop也支持其转载 2017-02-21 13:53:19 · 330 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第6期)_WordCount运行详解
Hadoop集群(第6期)_WordCount运行详解 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。转载 2015-08-20 22:27:25 · 707 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第5期副刊)_JDK和SSH无密码配置
Hadoop集群(第5期副刊)_JDK和SSH无密码配置 1、Linux配置java环境变量 1.1 原文出处 地址:http://blog.csdn.net/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文转载 2015-08-20 09:25:57 · 561 阅读 · 0 评论 -
Ubuntu系统下的Hadoop集群(1)_Hadoop安装教程_单机/伪分布式配置
当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。本教程由厦门大学数据库实验室出品,转载请注明。本教程适合于原生Hadoop 2,包括H转载 2015-07-24 16:50:20 · 2389 阅读 · 0 评论 -
Ubuntu系统下的Hadoop集群(5)_Hadoop集群安装配置教程
前言当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。本教程由厦门大学数据库实验室出品,转载请注明。本教程适合于原生Hadoop 2,包括H转载 2015-07-28 09:01:08 · 814 阅读 · 0 评论 -
Ubuntu系统下的Hadoop集群(4)_使用Eclipse编译运行MapReduce程序
使用Eclipse编译运行MapReduce程序_Hadoop_2.4.1上篇介绍了使用命令行编译打包运行自己的MapReduce程序,使用 Eclipse 更加方便。要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-plugin,可使用 Github 上的 hadoop2x-eclipse-plugin,测试环境:U转载 2015-08-11 16:41:35 · 2221 阅读 · 0 评论 -
Hadoop错误1_Hadoop分布式及伪分布式下DataNode不能启动的问题
问题导读:1、hadoop 完全分布式 和伪分布式下 datanode无法启动的原因?2、怎么解决?问题描述:在集群模式下更改节点后,启动集群发现 datanode一直启动不起来。我集群配置:有5个节点,分别为master slave1-5 。在master以hadoop用户执行:start-all.shjps查看master节点启动情况:转载 2015-08-11 15:01:40 · 5802 阅读 · 0 评论 -
Ubuntu系统下的Hadoop集群(3)_Hadoop单机版自定义实现类以及编译运行
Hadoop 2.4.1单机版 自定义实现类以及编译运行概述博主最近在学hadoop,而且在本实验室一位大神的指导下,我已配置好hadoop2.4.1开发环境,还没有配置或者不会配置的,请看链接hadoop单机版配置。由于之前运行的都是hadoop自带的实例,但是对于个人学习而言,肯定是要自己编写实现类以及编译运行实现类,因此博主就撰写了这篇文章,希望对学习hadoop的同道中转载 2015-08-10 19:58:11 · 2152 阅读 · 0 评论 -
Hadoop学习1_在使用命令行运行WordCount时,遇到的jar命令说明
1. jar cf WordCount.jar WordCount*.class使用情况:编译WordCount.java文件,编译java文件的命令为javac,截图如下:编译WordCount.java此时,在workspace文件夹下将会出现生成三个class文件,编译后生成class文件编译成功后,即可将三个class文件打包成jar文件,原创 2015-08-11 20:46:33 · 6338 阅读 · 0 评论 -
Ubuntu系统下的Hadoop集群(2)_使用命令行编译打包运行自己的MapReduce程序
使用命令行编译打包运行自己的MapReduce程序 Hadoop2.4.1网上的MapReduce WordCount教程对于如何编译WordCount.java几乎是一笔带过… 而有写到的,大多又是 0.20 等旧版本版本的做法,即 javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar Word转载 2015-08-12 09:42:25 · 2479 阅读 · 3 评论 -
Hadoop错误2_Hadoop伪分布式下,运行WordCount时,Input path does not exist错误原因
在伪分布式下,按照下面两个博客,分别以命令行方式和Eclipse执行WordCount程序时,都会出现同样的错误,(Eclipse:http://blog.csdn.net/wang_zhenwei/article/details/47422775)(命令行方式:http://blog.csdn.net/wang_zhenwei/article/details/47439623)原创 2015-08-12 14:38:31 · 32572 阅读 · 4 评论 -
Hadoop错误3_Ubuntu SSH Connection timed out类问题原因及解决方法
在Hadoop分布式环境配置的实验过程中,将公匙从Master节点传输到 Slave1 节点时,或者ssh Slave1节点时,可能会遇到以下的问题:ssh: connect to host slave1 port 22: Connection timed outlost connectionssh: connect to host slave1 port 22: No原创 2015-08-14 11:11:14 · 2851 阅读 · 0 评论 -
Ubuntu系统下的Hadoop集群(6)_Hadoop安装配置简略教程
原文来自:http://dblab.xmu.edu.cn/blog/install-hadoop-simplify/本Hadoop安装教程为简略版本,包含伪分布式和集群的配置,只列出命令与配置,不作详细说明,方便有基础的读者。完整版请浏览Hadoop安装配置教程_伪分布式,以及Hadoop集群安装配置教程。本教程在 Ubutnu 14.04 64位,转载 2015-08-13 11:21:16 · 609 阅读 · 0 评论 -
Hadoop错误4_产生sudo: unable to resolve host ubuntu的一种原因
在进行Hadoop集群配置的开始步骤,会使用以下方式对主机进行修改,sudo vim /etc/hostname # 在此处修改主机名sudo vim /etc/hosts # 在此处修改主机与 IP 的映射关系如果修改后不重启机器,将会以后面的一些步骤中遇到sudo: unable to resolve host ubuntu问题,重原创 2015-08-17 09:28:06 · 1380 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第1期)_CentOS安装配置
Hadoop集群(第1期)_CentOS安装配置 1、准备安装 1.1 系统简介 CentOS 是什么? CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持(通过安全更新方式)。新版本的 CentOS 每两年发行一次,而每转载 2015-08-17 13:40:29 · 759 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第7期)_Eclipse开发环境设置
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Window转载 2015-08-17 15:59:12 · 1052 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第5期)_Hadoop安装配置
Hadoop集群(第5期)_Hadoop安装配置 1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的H转载 2015-08-18 20:39:55 · 177 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第2期)_机器信息分布表
Hadoop集群(第2期)_机器信息分布表1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文转载 2015-08-19 16:58:19 · 441 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第3期)_VSFTP安装配置
Hadoop集群(第3期)_VSFTP安装配置 1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重要特点。 在速度方转载 2015-08-19 17:02:08 · 626 阅读 · 0 评论 -
CentOS系统下的Hadoop集群(第4期)_SecureCRT使用
Hadoop集群(第4期)_SecureCRT使用 1、SecureCRT简介 SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTe转载 2015-08-20 08:52:35 · 635 阅读 · 0 评论 -
Hadoop学习9_hadoop常用命令
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文转载 2017-02-21 13:55:38 · 291 阅读 · 0 评论