Hadoop-Skill
这些博客详细描述了Hadoop的体系结构以及具体用法
一只懒得睁眼的猫
励志成为一个技术大牛!
展开
-
hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载
转载网址:http://www.aboutyun.com/thread-8178-1-1.html转载 2016-04-23 09:26:58 · 1230 阅读 · 0 评论 -
教你如何查看识别hadoop和虚拟机是32位还是64位
转载网址:http://www.aboutyun.com/thread-12796-1-1.html (hadoop)https://zhidao.baidu.com/question/2015516634577501748.html(虚拟机)转载 2016-04-23 10:37:58 · 1174 阅读 · 0 评论 -
Hadoop 新 MapReduce 框架 Yarn 详解
转载网址:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/转载 2016-04-25 10:42:11 · 937 阅读 · 0 评论 -
Hadoop开发---经验总结1
2016年5月12日11:04:42基于MapReduce的非平衡大数据集分类任务总结作者:数据分析玩家 本篇博客将详细记录在本次项目当中所遇到的技术问题。 (1)在eclipse当中通过编程对Hadoop的HDFS进行操作时,总是显示连接不到主机或被主机拒绝连接? 原因: ①linux的防火墙iptables没有关闭,或者关原创 2016-05-12 13:43:52 · 1755 阅读 · 0 评论 -
HDFS入门笔记------架构以及应用介绍
引言—HDFS的重要性: Hadoop的定义:适合大数据的分布式存储与计算的一个平台,其中大数据的分布式存储就是由HDFS来完成的,因此掌握好HDFS的相关概念与应用非常重要! 本篇博客将从以下几个方面讲述HDFS: 1、分布式文件系统与HDFS 2、HDFS的体系结构 3、HDFS—-NameNode相关概念 4、HDFS—-DataNode相关概念 5、HDFS—-block块相关原创 2016-06-14 08:50:02 · 4037 阅读 · 0 评论 -
HDFS的Java Api-----FileSystem的用法详解(fileSystem|filesystem)
最近一段时间又在忙hadoop了,针对最近开发过程中遇到的问题总结一下: (1)HDFS命令 hadoop fs -rmr /* 的一个漏洞问题 实例如下: 解决方案:将HDFS的具体访问路径在命令行中写出: hadoop fs -rmr hdfs://hadoop20:9000/* (2) HDFS中block块的具体理解:我们都知道文件在HDFS中是以bl原创 2016-06-25 13:44:40 · 2233 阅读 · 0 评论 -
SecureCRT远程连接Linux---终端中文字符出现乱码的解决方式
今天用SecureCRT远程连接linux时,发现终端中的中文字符总是出现乱码的现象,如下所示: 首先我先查看了一下LANG这个参数:[root@hadoop22 ~]# echo $LANGen_US.UTF_8可以看出LANG这个参数是正常的。 随后我又查看了一下/etc/sysconfig/i18n这个配置文件的内容:[root@hadoop22 sysconfig]# more i原创 2016-07-01 13:11:48 · 18494 阅读 · 4 评论 -
Resources are low on NN. Please add or free up more resources then turn off safe mode manually.
问题解决方案的转载网址: http://www.chinahadoop.cn/classroom/5/thread/189 http://jingyan.baidu.com/article/3aed632e198ae870108091b4.html转载 2016-07-01 16:23:37 · 7744 阅读 · 0 评论 -
Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///---异常解决方案
今天搭建了一个hadoop2.0(yarn集群平台),首先在上面测试了一个FileSystem实例程序,代码如下:package IT0701;import java.io.IOException;import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils;import org.apach原创 2016-07-01 20:42:20 · 4261 阅读 · 1 评论 -
java.lang.NoSuchMethodException: MapReduce.WordCount$MyMapper.<init>()
今天在YARN平台上测试了一个程序–wordcount:package MapReduce;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import o原创 2016-07-02 09:51:02 · 3861 阅读 · 0 评论 -
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
集群环境:hadoop2.4.1 问题描述: 在执行hadoop fs -ls / 时,显示:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin- ,从问题上可以看出,不能够加载本地库。 原因分析: 查看linux系统的的位数:[r原创 2016-07-02 16:40:46 · 926 阅读 · 0 评论 -
软件大全下载整理(更新中)
本篇文章将整理在开发过程中所用的各种软件,并会陆续的进行更新!原创 2016-07-03 10:28:38 · 2647 阅读 · 1 评论 -
Hadoop开发----经验总结3
之前在Hadoop的开发过程中,一直犯了一个比较严重的错误:一直将windows下的hadoop的本地运行模式理解为hadoop的集群运行模式,现将Hadoop的运行模式总结如下: 1、独立模式即本地运行模式(standalone或local mode) 无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式原创 2016-07-05 21:40:30 · 1242 阅读 · 0 评论 -
基于MapReduce的手机上网流量统计分析
Hadoop简介:适合大数据的分布式存储与计算平台。 运行在Hadoop之上的大型服务器集群: 数据情况:(摘取部分) 字段描述:时间戳、手机号码、AP mac、AP mac、访问的网址、网址种类、上行数据包、下行数据包、流量、访问状态。 手机上网流量统计结果:(先展示统计部分结果) MapReduce程序开发步骤: 1、maper函数的编写 2、reducer函数的编写原创 2016-07-06 21:11:17 · 5917 阅读 · 7 评论 -
针对例会中出现的split块的位置问题的解决方案
本文作者:王婷婷 针对例会中出现的问题,本人提出的解决方案如下: 涉及到的具体技术实现细节包括hdfs fsck机制与脚本批量执行机制,先分别介绍。 1、hdfs fsck机制 在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。 集群情况:[root@hadoop11 local]# jps28234 N原创 2016-07-10 19:19:34 · 1035 阅读 · 0 评论 -
Hadoop在linux系统下的集群时间同步
核心命令:查看linux的系统时间: date设置linux的系统时间: date --set=string查看linux的硬件时钟: hwclock将硬件时钟与系统时钟同步:hwclock --hctosys 其中--hctosys表示Hardware Clock to SYStem clock基础知识: Linux将时钟分为系统时钟(System Clock)和硬件(Real Ti原创 2016-07-19 11:01:04 · 3152 阅读 · 0 评论 -
Hadoop学习重点体系结构
1、Hadoop伪分布集群的搭建 2、WordCount程序与FlowCount程序的编写,MapReduce的运行流程 3、MapReduce的3中运行模式 4、Mapreduce中Mapper任务数的分之策略原创 2016-07-20 18:34:24 · 1004 阅读 · 0 评论 -
Hadoop项目实战---黑马论坛日志分析
1、项目描述 通过对黑马技术论坛的apache common日志进行分析, 计算论坛关键指标,供运营者决策。 2、数据情况 每行记录有5部分组成: 1.访问ip 2.访问时间 3.访问资源【跟着两个访问的Url】 4.访问状态 5.本次流量 截取部分数据如下:27.19.74.143 - - [30/May/2013:17:38:21 +0800] "GET /static/im原创 2016-07-22 15:06:54 · 12649 阅读 · 10 评论 -
Hadoop学习闲谈
2016年1月25号开始学习的hadoop,到今天2016年7月22号,到现在满打满算已经6个月了,在学习hadoop这段时间可以感受到自己在很快的进步。 1、通过对hadoop的学习,使我感受到了实战与实践的重要性 2、逻辑思维能力与解决问题的能力是一个程序员必须锻炼的一个本事 3、学习是一个循序渐渐的过程,没有终点而言 4、要学会总结 接下来要学习Spark了,对自己提出以下几点要求:原创 2016-07-22 17:36:28 · 838 阅读 · 0 评论 -
大数据工程师必备技能
大数据架构师必备技能!原创 2016-09-15 21:18:50 · 1763 阅读 · 0 评论 -
Hadoop本地运行模式深入理解
Hadoop的运行模式分为3种:本地运行模式,伪分布运行模式,集群运行模式,相应概念如下: 1、独立模式即本地运行模式(standalone或local mode) 无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。 2、伪分布运行模式 伪分布:如果Hadoop对应的Java进程都运行原创 2016-07-04 16:35:05 · 15291 阅读 · 1 评论 -
MapReduce程序的3种集群提交运行模式详解---基于Windows与Linux两种开发环境
继上一篇博客—-Hadoop本地运行模式深入理解,本篇文章将详细介绍在基于Windows与Linux两种开发环境下,MapReduce程序的3种集群运行方式。在通篇文章中,仍然以经典的WordCount程序为例进行说明,以提高文章的易读性,下面进入文章的正题。 (1)MapReduce程序的集群运行模式1—将工程打成jar包,上传到服务器,然后用hadoop命令hadoop jar xxx.原创 2016-07-05 20:57:48 · 5385 阅读 · 1 评论 -
Hadoop2.0集群、Hbase集群、Zookeeper集群、Hive工具、Sqoop工具、Flume工具搭建总结
实验开发环境所用软件:[root@hadoop11 local]# lltotal 320576-rw-r--r-- 1 root root 52550402 Mar 6 10:34 apache-flume-1.6.0-bin.tar.gzdrwxr-xr-x 7 root root 4096 Jul 15 10:46 flumedrwxr-xr-x. 11 root原创 2016-07-15 13:32:46 · 4638 阅读 · 0 评论