![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 67
axxbc123
这个作者很懒,什么都没留下…
展开
-
【Spark四十七】Hadoop Map Shuffle Reduce的过程
深入Spark Shuffle之前,首先总结下Hadoop MapReduce的Shuffle过程,了解了Hadoop MR的shuffle过程,有助于对Spark的Shuffle过程的理解 Hadoo MapReduce的Shuffle总体流程图 问题:下图中Map端的parttion sort and Spill to disk的一个矩形框分成3块表示什么意思?在spi...原创 2015-02-07 00:56:36 · 295 阅读 · 0 评论 -
【Hadoop十七】HDFS HA配置
基于Zookeeper的HDFS HA配置主要涉及两个文件,core-site和hdfs-site.xml。 测试环境有三台hadoop.masterhadoop.slave1hadoop.slave2 hadoop.master包含的组件NameNode, JournalNode, Zookeeper,DFSZKFailoverControllerhadoop...原创 2015-06-13 15:53:13 · 191 阅读 · 0 评论 -
【Hadoop十九】HDFS权限设置
1.hdfs权限检查启用,需要在hdfs-site.xml中做如下配置: <property> <name>dfs.permissions.enabled</name> <value>true</value> 1.1. 默认情况下,用户在HDFS上创建的文件和目录的权限是rwxr-xr-x,即...原创 2016-06-08 08:47:22 · 1653 阅读 · 2 评论 -
【Hadoop二十】WebHDFS
访问地址是 http://hadoop.bit.com:50070/webhdfs/v1/user?op=LISTSTATUS 其中的user是HDFS上的文件路径/user, HTTP REST API的详细信息参看https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/WebHDFS....原创 2016-06-08 10:32:09 · 195 阅读 · 0 评论 -
【Hadoop二十一】Hadoop ProxyUser
关于Hadoop ProxyUser的出现动机,参看https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/Superusers.html 线上环境做了如下配置 <!--hadoop proxyuser--> <property> <name>...原创 2016-06-08 10:49:37 · 2367 阅读 · 0 评论 -
【Hadoop一】Hadoop伪集群环境搭建
结合网上多份文档,不断反复的修正hadoop启动和运行过程中出现的问题,终于把Hadoop2.5.2伪分布式安装起来,跑通了wordcount例子。Hadoop的安装复杂性的体现之一是,Hadoop的安装文档非常多,但是能一个文档走下来的少之又少,尤其是Hadoop不同版本的配置差异非常的大。Hadoop2.5.2于前两天发布,但是它的配置跟2.5.0,2.5.1没有分别。 系统环境:...原创 2014-11-22 15:51:17 · 106 阅读 · 0 评论 -
【Hadoop二】Hadoop常用命令
以Hadoop运行Hadoop自带的wordcount为例, hadoop脚本位于/home/hadoop/hadoop-2.5.2/bin/hadoop,需要说明的是,这些命令的使用必须在Hadoop已经运行的情况下才能执行 Hadoop HDFS相关命令 hadoop fs -ls 列出HDFS文件系统的第一级文件和第一级目录,如: hadoop@had...原创 2014-11-29 10:10:01 · 148 阅读 · 0 评论 -
【Hadoop三】Centos7_x86_64部署Hadoop集群之编译Hadoop源代码
编译必需的软件Firebugs3.0.0Maven3.2.3AntJDK1.7.0_67protobuf-2.5.0Hadoop 2.5.2源码包 Firebugs3.0.0 http://sourceforge.jp/projects/sfnet_findbugs/downloads/findbugs/3.0.0/findbugs...原创 2014-12-02 13:18:11 · 99 阅读 · 0 评论 -
【Hadoop四】Centos7_x86_64部署Hadoop集群之部署Hadoop集群
虚机环境配置目前只有一台虚拟机,设置IP为192.168.26.131,对这台虚拟机进行环境和Hadoop相关的配置后,关闭它然后克隆两个相同的虚拟机,然后针对每台虚拟机做虚拟机独有的设置设置主机名设置SSH免密码登陆 在一台虚机上,做如下操作:IP与域名绑定关闭防火墙Hadoop相关配置 1. IP与域名绑定 编辑文件sudo ...原创 2014-12-09 16:32:03 · 133 阅读 · 0 评论 -
【Hadoop十六】Capacity Scheduler
在Hadoop2.5.2中,默认的资源调度器默认使用的算法是计算能力调度器,配置文件位于/etc/hadoop/capacity-scheduler.xml,不做任何修改,它的配置文件内容如下,默认配置中显示了一些可用的配置参数以及这些配置参数的默认值,以及这些配置参数的含义 <configuration> <property> <na...原创 2015-06-13 13:14:02 · 125 阅读 · 0 评论 -
【Hadoop十五】Hadoop Counter
1. 只有Map任务的Map Reduce Job File System Counters FILE: Number of bytes read=3629530 FILE: Number of bytes written=98312 FILE: Number of read operations=0 FILE: Number of large read ...原创 2015-05-30 16:49:29 · 264 阅读 · 0 评论 -
【Hadoop六】基于Yarn的Hadoop Map Reduce工作流程
1. 全分布式Hadoop启动和停止时,进程的启停顺序[hadoop@hadoop sbin]$ ./start-all.shThis script is Deprecated. Instead use start-dfs.sh and start-yarn.shStarting namenodes on [hadoop.master]hadoop.master: starti...原创 2015-02-16 23:13:53 · 125 阅读 · 0 评论 -
【Hadoop七】基于Yarn的Hadoop Map Reduce容错
运行于Yarn的Map Reduce作业,可能发生失败的点包括Task FailureApplication Master FailureNode Manager FailureResource Manager Failure1. Task Failure任务执行过程中产生的异常和JVM的意外终止会汇报给Application Master。僵死的任务也会被Appl...原创 2015-03-07 14:37:18 · 137 阅读 · 0 评论 -
【Hadoop八】Yarn的资源调度策略
1. Hadoop的三种调度策略Hadoop提供了3中作业调用的策略,FIFO SchedulerFair SchedulerCapacity Scheduler以上三种调度算法,在Hadoop MR1中就引入了,在Yarn中对它们进行了改进和完善.Fair和Capacity Scheduler用于多用户共享的资源调度 2. 多用户资源共享的调度支持资源按...原创 2015-03-07 16:04:09 · 175 阅读 · 0 评论 -
【Hadoop十】HDFS读写流程
HDFS读流程 读流程详细步骤:HDFS客户端将要读取的HDFS文件封装成DistributedFileSystem对象,然后调用DistributedFileSystem的open方法打开要读取的文件DistributedFileSystem对象通过RPC访问NameNode获取文件的块信息。NameNode返回每个数据块在DataNode上的位置;每个数据块如果有备份,那...原创 2015-03-09 18:57:46 · 107 阅读 · 0 评论 -
【Hadoop十一】Hadoop MapReduce读写Redis
http://blog.pivotal.io/pivotal/products/making-hadoop-mapreduce-work-with-a-redis-cluster原创 2015-03-17 18:28:31 · 925 阅读 · 0 评论 -
【Hadoop十二】HDFS常用命令
1. 修改日志文件查看器 hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xmlcat edits.xml 修改日志文件转储为xml格式的edits.xml文件,其中每条RECORD就是一个操作事务日志 2. fsimage查看HDFS中的块信息等 [hadoop@hado...原创 2015-04-23 14:45:55 · 116 阅读 · 0 评论 -
【Hadoop十三】HDFS Java API基本操作
package com.examples.hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.f...原创 2015-04-24 14:38:02 · 148 阅读 · 0 评论 -
【Hadoop十四】Hadoop提供的脚本的功能
1. hadoop-daemon.sh1.1 启动HDFS./hadoop-daemon.sh start namenode./hadoop-daemon.sh start datanode 通过这种逐步启动的方式,比start-all.sh方式少了一个SecondaryNameNode进程,这不影响Hadoop的使用,其实在 Hadoop2.0中,SecondaryNameN...原创 2015-05-09 15:13:41 · 91 阅读 · 0 评论 -
【Hadoop五】Word Count实例结果分析
如下是运行Word Count的结果,输入了两个小文件,从大小在几K之间。 hadoop@hadoop-Inspiron-3521:~/hadoop-2.5.2/bin$ hadoop jar WordCountMapReduce.jar /users/hadoop/hello/world /users/hadoop/output5--->/users/hadoop/...原创 2014-12-15 22:47:15 · 602 阅读 · 0 评论