hadoop学习笔记
文章平均质量分 81
武睿傲雪
喜欢在CSDN专业的技术论坛上提问题并解决问题
展开
-
JobTracker和TaskTracker
JobTracker和TaskTrackerJobTracker 对应于 NameNodeTaskTracker 对应于 DataNodeDataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的 mapreduce中几个主要概念,mapreduce整体上可以分为这转载 2016-04-04 21:41:10 · 349 阅读 · 0 评论 -
Hadoop-MyEclipse安装配置
配置环境:Hadoop-1.2.1,MyEclipse,Centos6.5网站上有很多关于Hadoop-eclipse的安装配置信息,但很少有讲到关于怎么在MyEclipse上配置Hadoop的相关操作。由于我的电脑只装了MyEclipse,所以我在这里将如何用MyEclipse安装Hadoop-eclipse插件记录下来。其实跟在eclipse上配置是大同小异的。步骤:1)将Hado转载 2016-09-27 19:33:24 · 348 阅读 · 0 评论 -
执行Hbase命令遇到了错误: regionserver running as process ×××. Stop it first.解决办法
问题:执行./start-hbase.sh命令出现:master running as process 4615. Stop it first.错误。解决办法:查看配置文件hbase-site.xml是不是写错了。要用HDFS为Hbase提供存储空间,定义hbase.rootdir参数时HDFS文件系统的主机名和端口号必须与Hadoop的配置文件core-site.xml中fs.defau原创 2016-11-25 03:20:40 · 26248 阅读 · 2 评论 -
使用MyEclipse开发HBase应用程序
当第三方访问HBase的时候,首选需要访问ZooKeeper,因为HBase的重要信息保存在ZooKeeper当中。我们知道,ZooKeeper集群的信息由$$HBASE_HOME/conf/hbase-site.xml文件指定。因此需要通过classpath来指定HBase配置文件的位置,即$HBASE_HOME/conf的位置。使用HBase客户端进行编程的时候,下文制定的JAR包对于程序来说原创 2016-11-30 06:17:00 · 2448 阅读 · 0 评论 -
伪分布模式下HBase的安装
Hbase有三种运行模式,其中单机模式的配置非常简单,几乎不用对安装文件做任何修改就可以使用。如果要运行分布式模式,Hadoop是必不可少的。另外在对HBase的某些文件进行配置之前,还需要具备以下先决条件: 1.Java:需要安装Java 1.6.x以上的版本,推荐从SUN官网下载。网上也有许多JDK安装配置的教程。在Ubuntu下可以使用下面命令安装Java:sudo apt-get inst原创 2016-11-25 21:41:13 · 4127 阅读 · 1 评论 -
streaming常见计算任务失败原因
常见计算任务失败原因1) 子进程返回错误1java.lang.RuntimeException: PipeMapRed?.waitOutputThreads(): subprocess failed with code 1at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed?.java:320)转载 2016-10-08 00:43:57 · 6080 阅读 · 0 评论 -
Hadoop流实现WordCount程序样例
Hadoop提供了一个API,允许用户使用任何脚本语言写Map函数或Reduce函数。Hadoop流的关键时,它使用UNIX函数标准作为程序与Hadoop之间的接口。因此,任何程序只要可以从标准输入流中读取数据并且可以写入数据到标准输出流,那么就可以通过Hadoop流使用其他语言编写MapReduce程序的Map函数或Reduce函数。 下面使用一个简单的例子(本例子运行的环境:Ubuntu 16原创 2016-10-07 22:20:20 · 1500 阅读 · 0 评论 -
使用命令shell和MyEclipse两种方式执行Hadoop的WordCount程序
大家初次接触编程时学习的无论时哪种语言,看到的第一个示例程序都是“Hello World”。在Hadoop中也有一个类似于Hello World的程序。这就是WordCount.下文会结合这个程序通过两种方式具体讲解与MapReduce程序有关的所有类。(关于WordCount的程序网上已经有很多了,我这里说一些网上没有的。)通过MyEclipse调用Hadoop的JAR类库实现WordCount原创 2016-10-05 01:16:29 · 3001 阅读 · 0 评论 -
HDFS 常用文件操作命令
前言HDFS命令基本格式:hadoop fs -cmd ls 命令hadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件put 命令hadoop fs -put hdfs file的父目录一定要存在,否则命令不会执行hadoop fs -put ...转载 2016-10-04 20:45:49 · 613 阅读 · 0 评论 -
Hadoop Shell命令
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认sche转载 2016-10-04 19:56:37 · 311 阅读 · 0 评论 -
hadoop :mkdir: 'input': No such file or directory问题
初接触hadoop,遇到的问题真不少。在执行bin/hadoop fs -mkdir input时,出错了。测试发现,bin/hadoop fs -ls也不行。排查了一会才发现是版本的原因:2.x以前的版本这个命令,2.x之后的版本命令改成了:bin/hdfs dfs -mkdir -p 文件名 input目录创建完成之后,开始上传本地目录:bin/hdfs dfs -put /root/data翻译 2016-10-04 19:04:52 · 20386 阅读 · 2 评论 -
Hadoop Writable机制
Hadoop将很多Writable类归入org.apache.hadoop.io包中,类图如图3-4所示。在这些类中,比较重要的有Java基本类、Text、Writable集合、ObjectWritable等,本节重点介绍Java基本类和ObjectWritable的实现。 1. Java基本类型的Writable封装目前Java基本类型对应的Writable封装如表3-1所示转载 2016-09-27 22:13:19 · 547 阅读 · 0 评论 -
Hadoop Streaming 常见错误(不断更新ing)
1、streaming默认的情况下,mapper和reducer的返回值不是0,被认为异常任务,将被再次执行,默认尝试4次都不是0,整个job都将失败java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed wi th code 1 at org.apache.hadoop.stream转载 2016-10-10 21:02:26 · 1304 阅读 · 0 评论 -
hadoop机架感知
背景 分布式的集群通常包含非常多的机器,由于受到机架槽位和交换机网口的限制,通常大型的分布式集群都会跨好几个机架,由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度,并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 具体到Hadoop集群,由于hadoop的HDFS对数据文件的分布式存放是按照分块blo转载 2016-07-14 03:45:11 · 337 阅读 · 0 评论 -
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
问题导读:1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的http服务的端口、ipc服务的端口分别是哪个?3.journalnode的http服务的端口、ipc服务的端口分别是哪个?4.ResourceManager的http服务端口是哪个?5.NodeManager的http服务端口是哪个?6.Master的http服务的端口、转载 2016-03-13 10:01:04 · 497 阅读 · 0 评论 -
VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4(完全分布式)
初衷首先说明一下既然网上有那么多教程为什么要还要写这样一个安装教程呢?网上教程虽然多,但是有些教程比较老,许多教程忽略许多安装过程中的细节,比如添加用户的权限,文件权限,小编在安装过程遇到许多这样的问题所以想写一篇完整的教程,希望对初学hadoop的人有一个直观的了解,我们接触真集群的机会比较少,虚拟机是个不错的选择,可以基本完全模拟真实的情况,前提是你的电脑要配置相对较好不然跑起来都想死,废话不多原创 2017-02-02 04:19:16 · 10470 阅读 · 3 评论