Hadoop
文章平均质量分 91
一只懒得睁眼的猫
励志成为一个技术大牛!
展开
-
Hadoop中的jobhistory配置与启动停止
参考博客:https://blog.csdn.net/xiaoduan_/article/details/79689882核心配置文件:只有两个yarn-site.xml<!-- 开启日志聚合 --><property><name>yarn.log-aggregation-enable</name><value>true&l...转载 2019-08-13 12:09:17 · 816 阅读 · 0 评论 -
Hadoop2.0集群、Hbase集群、Zookeeper集群、Hive工具、Sqoop工具、Flume工具搭建总结
实验开发环境所用软件:[root@hadoop11 local]# lltotal 320576-rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gzdrwxr-xr-x 7 root root 4096 Jul 15 10:46 flumedrwxr-xr-x. 11 root原创 2016-07-15 13:32:46 · 4639 阅读 · 0 评论 -
大数据相关说明图
图一:Hadoop2.4.1 HA模式集群搭建总结:图二:Hadoop1.0版本MapReduce运行原理:图三:基于Yarn平台的MapReduce运行机制:图四:应用程序(以MR程序为例)在Yarn平台上面的执行过程图四:Hadoop1.0中的JobTracker在Hadoop2.0中的职责分配原创 2016-10-30 16:36:38 · 1378 阅读 · 0 评论 -
通过eclipse查看Hadoop源码的详细操作
核心内容: 1、如何将Hadoop源码关联到eclipse工程中 2、eclipse查看Hadoop源码展示 3、通过eclipse查看源码的重要性1、Hadoop源码关联到eclipse工程中的详细步骤本次以hadoop1.1.2版本为例: 具体步骤: 1、在Eclipse下新建一个Java项目 2、为项目导入jar包,可以导入hadoop1.1.2的lib下的所有的jar包 3、将原创 2016-10-07 20:51:09 · 6773 阅读 · 1 评论 -
Hadoop本地运行模式深入理解
Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下: 1、独立模式即本地运行模式(standalone或local mode) 无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。 2、伪分布运行模式 伪分布:如果Hadoop对应的Java进程都运行原创 2016-07-04 16:35:05 · 15292 阅读 · 1 评论 -
eclipse运行hadoop1版本错误如下 ClassNotFoundException:org.apache.hadoop.io.nativeio.NativeIO$POSIX$Stat
今天在eclipse下测试Hadoop1版本的本地运行模式:但是程序一直抛出一个异常:ClassNotFoundException:org.apache.hadoop.io.nativeio.NativeIOPOSIXPOSIXStat根据经验首先感觉应该是版本对应的问题:此时我的JDK是64位的,eclipse软件也是64位的,但是用的hadoop1.1.2是32位的。 同时为了确定问题的由来,原创 2016-10-17 14:31:15 · 2815 阅读 · 0 评论 -
Hadoop在linux系统下的集群时间同步
核心命令:查看linux的系统时间: date设置linux的系统时间: date --set=string查看linux的硬件时钟: hwclock将硬件时钟与系统时钟同步:hwclock --hctosys 其中--hctosys表示Hardware Clock to SYStem clock基础知识: Linux将时钟分为系统时钟(System Clock)和硬件(Real Ti原创 2016-07-19 11:01:04 · 3152 阅读 · 0 评论 -
MapReduce中<k3,v3>输出到文件中的分隔符究竟是什么
之前在编程的时候,一直不确定<k3,v3>输出到指定文件中的分隔符,今天在黄宜华《深入理解大数据》书中找到了答案:制表符\t原创 2016-10-23 16:23:27 · 1200 阅读 · 0 评论 -
Hadoop集群搭建过程中DataNode与TaskTracker节点的问题
在Hadoop集群搭建的过程中,我们总会发现在slaves文件中的主机名既是DataNode也是TaskTracker,这是为什么呢? 今天在黄宜华《深入理解大数据》一书中找到了答案:96页 原因: 为了实现Hadoop系统设计中 本地化计算 的原则,数据存储节点DataNode与计算节点TaskTracker将合并设置,让每个从节点同时运行作为DataNode和TaskTrack原创 2016-10-23 10:37:54 · 1927 阅读 · 0 评论 -
Hadoop开发过程中所遇到的那些坑
核心内容: 1、Hadoop开发过程中常见问题即解决方案在Hadoop开发的过程中,我们总是遇到各种各样的问题,今天就整理总结一下: 万能的解决步骤:6个检查+查看具体日志 在Hadoop开发的过程中如果遇到各种异常,首先使用jps命令查看进程的启动是否正常,然后在去查看相关的日志文件,但是在查看相关日志之前,你可以先检查一下面几点: 1、防火墙原因:检查各个节点的防火墙是否关闭成原创 2016-12-25 15:21:21 · 12248 阅读 · 1 评论 -
大话Hadoop1.0、Hadoop2.0与Yarn平台
2016年12月14日21:37:29 Author:张明阳 博文链接:http://blog.csdn.net/a2011480169/article/details/53647012近来这几天一直在忙于Hbase的实验,也没有太静下心来沉淀自己,今天打算写一篇关于Hadoop1.0、Hadoop2.0与Yarn的博文,从整体上把握三者之间的联系,博客内容如有问题,欢迎留言指正!OK,进入本文原创 2016-12-15 14:17:09 · 11129 阅读 · 5 评论 -
虚拟机彻底删除
最近可能是电脑出了点问题,虚拟机需要卸载一下,结果各种方法都适用了,什么控制面板卸载,什么注册表卸载,但是最后都没有成功,最后终于百度到了一篇文章,才成功:https://zhidao.baidu.com/question/1707772524076104020.html(转载网址)1.从网上下载专门针对Wmare的清理工具,如图,在百度中搜索“Windows Installer Cl...转载 2019-03-06 13:20:02 · 3424 阅读 · 1 评论 -
Hadoop distcp 命令跨集群复制文件
转载网址: http://www.w2bc.com/article/176068转载 2017-04-21 08:09:03 · 2282 阅读 · 0 评论 -
软件大全下载整理(更新中)
本篇文章将整理在开发过程中所用的各种软件,并会陆续的进行更新!原创 2016-07-03 10:28:38 · 2647 阅读 · 1 评论 -
面试题总结
转载网址: http://cfanz.cn/index.php?c=article&a=read&id=303801转载 2016-12-31 09:32:01 · 1329 阅读 · 0 评论 -
Hadoop中SSH免密码登陆的相关知识
Hadoop中SSH免密码登陆的相关知识:原创 2016-10-23 09:19:43 · 889 阅读 · 0 评论 -
MapReduce之WordCount、FlowCount代码汇总
运行环境:Hadoop1.1.2 WordCount代码:运行结果: 运行环境:Hadoop1.1.2 FlowCount代码汇总运行结果: 运行环境:Hadoop1.1.2 FlowCount2代码汇总运行结果: 运行环境:Hadoop1.1.2 FlowCount3代码汇总运行结果: 运行环境:Hadoop1.1.2 TopK运行环境:Hadoop1.1.2 Sortpubl原创 2016-10-17 15:39:48 · 998 阅读 · 0 评论 -
大数据工程师必备技能
大数据架构师必备技能!原创 2016-09-15 21:18:50 · 1764 阅读 · 0 评论 -
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
集群环境:hadoop2.4.1 问题描述: 在执行hadoop fs -ls / 时,显示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin- ,从问题上可以看出,不能够加载本地库。 原因分析: 查看linux系统的的位数:[r原创 2016-07-02 16:40:46 · 926 阅读 · 0 评论 -
java.lang.NoSuchMethodException: MapReduce.WordCount$MyMapper.<init>()
今天在YARN平台上测试了一个程序–wordcount:package MapReduce;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import o原创 2016-07-02 09:51:02 · 3862 阅读 · 0 评论 -
Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///---异常解决方案
今天搭建了一个hadoop2.0(yarn集群平台),首先在上面测试了一个FileSystem实例程序,代码如下:package IT0701;import java.io.IOException;import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils;import org.apach原创 2016-07-01 20:42:20 · 4261 阅读 · 1 评论 -
Resources are low on NN. Please add or free up more resources then turn off safe mode manually.
问题解决方案的转载网址: http://www.chinahadoop.cn/classroom/5/thread/189 http://jingyan.baidu.com/article/3aed632e198ae870108091b4.html转载 2016-07-01 16:23:37 · 7746 阅读 · 0 评论 -
SecureCRT远程连接Linux---终端中文字符出现乱码的解决方式
今天用SecureCRT远程连接linux时,发现终端中的中文字符总是出现乱码的现象,如下所示: 首先我先查看了一下LANG这个参数:[root@hadoop22 ~]# echo $LANGen_US.UTF_8可以看出LANG这个参数是正常的。 随后我又查看了一下/etc/sysconfig/i18n这个配置文件的内容:[root@hadoop22 sysconfig]# more i原创 2016-07-01 13:11:48 · 18497 阅读 · 4 评论 -
Hadoop学习闲谈
2016年1月25号开始学习的hadoop,到今天2016年7月22号,到现在满打满算已经6个月了,在学习hadoop这段时间可以感受到自己在很快的进步。 1、通过对hadoop的学习,使我感受到了实战与实践的重要性 2、逻辑思维能力与解决问题的能力是一个程序员必须锻炼的一个本事 3、学习是一个循序渐渐的过程,没有终点而言 4、要学会总结 接下来要学习Spark了,对自己提出以下几点要求:原创 2016-07-22 17:36:28 · 838 阅读 · 0 评论 -
Hadoop项目实战---黑马论坛日志分析
1、项目描述 通过对黑马技术论坛的apache common日志进行分析, 计算论坛关键指标,供运营者决策。 2、数据情况 每行记录有5部分组成: 1.访问ip 2.访问时间 3.访问资源【跟着两个访问的Url】 4.访问状态 5.本次流量 截取部分数据如下:27.19.74.143 - - [30/May/2013:17:38:21 +0800] "GET /static/im原创 2016-07-22 15:06:54 · 12659 阅读 · 10 评论 -
HDFS的Java Api-----FileSystem的用法详解(fileSystem|filesystem)
最近一段时间又在忙hadoop了,针对最近开发过程中遇到的问题总结一下: (1)HDFS命令 hadoop fs -rmr /* 的一个漏洞问题 实例如下: 解决方案:将HDFS的具体访问路径在命令行中写出: hadoop fs -rmr hdfs://hadoop20:9000/* (2) HDFS中block块的具体理解:我们都知道文件在HDFS中是以bl原创 2016-06-25 13:44:40 · 2233 阅读 · 0 评论 -
MapReduce程序的3种集群提交运行模式详解---基于Windows与Linux两种开发环境
继上一篇博客—-Hadoop本地运行模式深入理解,本篇文章将详细介绍在基于Windows与Linux两种开发环境下,MapReduce程序的3种集群运行方式。在通篇文章中,仍然以经典的WordCount程序为例进行说明,以提高文章的易读性,下面进入文章的正题。 (1)MapReduce程序的集群运行模式1—将工程打成jar包,上传到服务器,然后用hadoop命令hadoop jar xxx.原创 2016-07-05 20:57:48 · 5386 阅读 · 1 评论 -
Hadoop学习重点体系结构
1、Hadoop伪分布集群的搭建 2、WordCount程序与FlowCount程序的编写,MapReduce的运行流程 3、MapReduce的3中运行模式 4、Mapreduce中Mapper任务数的分之策略原创 2016-07-20 18:34:24 · 1004 阅读 · 0 评论 -
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载
转载网址:http://www.aboutyun.com/thread-8178-1-1.html转载 2016-04-23 09:26:58 · 1230 阅读 · 0 评论 -
教你如何查看识别hadoop和虚拟机是32位还是64位
转载网址:http://www.aboutyun.com/thread-12796-1-1.html (hadoop)https://zhidao.baidu.com/question/2015516634577501748.html(虚拟机)转载 2016-04-23 10:37:58 · 1175 阅读 · 0 评论 -
Hadoop 新 MapReduce 框架 Yarn 详解
转载网址:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/转载 2016-04-25 10:42:11 · 937 阅读 · 0 评论 -
基于MapReduce的手机上网流量统计分析
Hadoop简介:适合大数据的分布式存储与计算平台。 运行在Hadoop之上的大型服务器集群: 数据情况:(摘取部分) 字段描述:时间戳、手机号码、AP mac、AP mac、访问的网址、网址种类、上行数据包、下行数据包、流量、访问状态。 手机上网流量统计结果:(先展示统计部分结果) MapReduce程序开发步骤: 1、maper函数的编写 2、reducer函数的编写原创 2016-07-06 21:11:17 · 5919 阅读 · 7 评论 -
Hadoop开发----经验总结3
之前在Hadoop的开发过程中,一直犯了一个比较严重的错误:一直将windows下的hadoop的本地运行模式理解为hadoop的集群运行模式,现将Hadoop的运行模式总结如下: 1、独立模式即本地运行模式(standalone或local mode) 无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式原创 2016-07-05 21:40:30 · 1242 阅读 · 0 评论 -
Hadoop开发---经验总结1
2016年5月12日11:04:42基于MapReduce的非平衡大数据集分类任务总结作者:数据分析玩家 本篇博客将详细记录在本次项目当中所遇到的技术问题。 (1)在eclipse当中通过编程对Hadoop的HDFS进行操作时,总是显示连接不到主机或被主机拒绝连接? 原因: ①linux的防火墙iptables没有关闭,或者关原创 2016-05-12 13:43:52 · 1755 阅读 · 0 评论