hadoop
道法—自然
不积跬步,无以至千里;不积小流,无以成江海。——荀子
展开
-
hadoop各个版本的介绍,以及他们的区别
原创 2018-09-11 21:58:55 · 11494 阅读 · 1 评论 -
MapReduce的原理
MapReduce中map对应的是块的个数MapReduce的源语是:相同的key为一组,这一组key调用一次reduce方法 切片:切片的大小是可以定义的。定义切片的命令;[root@node12 ~]# hdfs dfs -D dfs.blocksize=1048576 -put test.txt 一个切片对应一个mapmap的个数由切片的数量决定切片的个数...原创 2018-12-22 16:33:30 · 182 阅读 · 0 评论 -
hadoop的yarn
yarn是独立的资源管理框架yarn也是主备模式MapReduce on yarn原创 2018-12-22 16:48:10 · 192 阅读 · 0 评论 -
hadoop集成yarn高可用HA的搭建
1、修改配置文件;具体的修改内容为:mapred-site.xml:<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>原创 2018-12-22 18:57:26 · 457 阅读 · 0 评论 -
MapReduce的源码分析
map端的输出是reduce端的输入。切片的信息设置块的最大值和最小值设置切片的最大值和最小值设置reduce task的个数如果reduce环节为0,那么就是说没有reduce环节如果reduce的个数不为零,那么reduce阶段就有两个环节:分区和排序map阶段有一个run方法 偏移量:map端的源码分析:...原创 2018-12-23 12:43:32 · 227 阅读 · 0 评论 -
hadoop入门
hadoop2.0才出现了yarn写SQL写APIhadoop包括hadoop生态圈和hadoop项目hadoop项目包括:hadoop common,hadoop distributed system,hadoop yarn,hadoop MapReducehadoop生态圈包括spark,zookeeper,hive,HBASE等等。 ...原创 2018-12-18 20:39:48 · 508 阅读 · 0 评论 -
hadoop的持久化
namenode描述的是一个大的文件进入集群的时候的元数据。secondary不是namenode的副本,而是帮助namenode将小文件合并起来的。namenode启动的流程:①fsimage加载②edits加载③产生一个新的fsimage④产生一个空的edits所谓的格式化就是进行初始化的过程。首先是格式化,其次才是启动hdfs只有在启动的时...原创 2018-12-18 21:59:26 · 555 阅读 · 0 评论 -
hdfs的权限问题
hdfs的权限问题:在脚本中,有权限问题,在hdfs中也有权限问题,这个权限问题也可以被用来进行修改的。原创 2018-12-18 22:40:59 · 797 阅读 · 0 评论 -
hdfs2.x的特点
原创 2018-12-18 22:53:20 · 253 阅读 · 0 评论 -
hdfs单机版的安装
一、 准备机器机器编号 地址 端口1 10.211.55.8 9000、50070、8088二、 安装学习地址http://www.roncoo.com/course/view/5a057438cc2a4231a8c245695faea2381、 安装java环境 ...原创 2018-12-19 09:40:37 · 1608 阅读 · 0 评论 -
MapReduce的测试
package com.bjsxt.mr;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import org.apache.h...原创 2018-12-22 14:57:10 · 529 阅读 · 0 评论 -
eclipse开发MapReduce
在使用中,我们往往会用eclipse进行MapReduce的开发工作:1、首先将开发所需要的jar包放在一个干净的目录下:2、配置相应的环境变量 3、配置eclipse:将hadoop-eclipse-plugin放在eclipse的插件下:eclipse最好是mar这个版本4、将给定的bin目录下的文件放在部署好的hadoop的bin目录下5、将ha...原创 2018-12-22 13:06:30 · 938 阅读 · 0 评论 -
hadoop 配置项的调优
hadoop 配置项的调优dfs.block.size 决定HDFS文件block数量的多少(文件个数),它会间接的影响Job Tracker的调度和内存的占用(更影响内存的使用),mapred.map.tasks.speculative.execution=true mapred.reduce.tasks.speculative.execution=true这是两个推测式执...原创 2018-09-11 23:57:03 · 287 阅读 · 0 评论 -
hadoop三大核心之一:YARN
原创 2018-09-12 21:43:58 · 546 阅读 · 0 评论 -
思特奇面试题:hadoop的优点有哪些?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。那么你对Hadoop了解多少呢?下面就让小编来给你科普一下什么是hadoop。hadoop的起源项目起源Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和...原创 2018-12-02 10:54:00 · 2950 阅读 · 0 评论 -
hadoop的安装
hadoop的安装:在安装hadoop之前,系统必须要有Java环境和shell环境需要免秘钥hadoop的三种运行模式:①单机模式②伪分布式③完全分布式 免秘钥: 还需要时间同步 ...原创 2018-12-20 19:54:26 · 99 阅读 · 0 评论 -
hadoop单机方式的安装
hadoop单机模式的安装:1、安装jdk配置环境变量:2、设置免秘钥: [root@node11 ~]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsaGenerating public/private dsa key pair.Your identification has been saved in /root/.ss...原创 2018-12-20 21:59:17 · 6140 阅读 · 1 评论 -
使用Linux上传文件
使用Linux命令上传文件,过程如下。 su hdfs //切换到HDFS用户cd /home/hdfs/files //进入到服务器中文件所在目录ls //查看此目录下的文件列表vim test.txt //若文件存在可显示文件中的内容,若不存在则新建文件注:按“i”键可进入编辑器,可直接修改...原创 2018-12-26 23:17:34 · 240 阅读 · 0 评论 -
hdfs的基本操作
从hdfs上下载文件的命令:hdfs dfs -get /user/root/data/wc/* ./上传文件的命令:hdfs dfs -put ./test.txt /user/root/data/wc/[root@node11 ~]# hdfs dfs -ls ./test.txt /user/root/data/wc/output01-rw-r--r-- 2 root...原创 2018-12-26 23:23:59 · 200 阅读 · 0 评论 -
hadoop集群方式的安装
1、安装jdkrpm -i jdk配置环境变量Java的默认安装路径:/usr/java2、免秘钥:首先登陆自己,生成自己的密钥和公钥文件:ssh localhost然后生成自己的公钥和密钥:ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa设置自己和自己的免秘钥:进入 cd .ssh将自己的公钥发给自己:[roo...原创 2018-12-21 21:35:18 · 181 阅读 · 0 评论 -
hadoop高可用HA的搭建
hadoop高可用HA的搭建:8485:journal node的默认端口号思路:搭建zookeeper,在hadoop启动之前zookeeper就已经启动了。免秘钥:就是让zookeeper能够在各台集群机器之间进行自由的交互。1、上传解压zookeeperzookeeper在使用的时候,一种是主从模式无主模型在conf下修改文件:cp zoo.cfg进入zo...原创 2018-12-22 00:50:38 · 156 阅读 · 0 评论 -
hadoop集群的搭建(最新版)
一、下载安装jdk1、下载上传2、加压安装3、配置环境变量二、下载安装zookeeper1、下载上传2、解压安装3、配置换将变量载zookeeper: http://archive.apache.org/dist/zookeeper/将下载好的zookeeper上传到c7node3节点的/software/下,解压:#使用 --no-same-owner ...原创 2019-01-13 15:07:13 · 129 阅读 · 0 评论