Hadoop
文章平均质量分 77
听挽风讲大数据
只有不断地分享,才能更好地掌握。
展开
-
hdfs集群的HA
一、 配置非高可用的HDFS(用到了四台虚拟机分为node1、node2、node3、node4) 1、 下载hadoop-2.7.4.tar 2、 下载jdk-8u121-linux-x64.tar 3、 配置java环境变量 修改~/.bash_profile export JAVA_HOME=/opt/soft/jdk1.8.0_121/ export CLASSPAT原创 2017-08-23 20:10:07 · 246 阅读 · 0 评论 -
Resource Manager HA配置
1、修改mapred-site.xml文件,若没有则执行cp mapred-site.xml.template mapred-site.xml<configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value> </property></configurati原创 2017-08-27 12:16:11 · 324 阅读 · 0 评论 -
hadoop伪分布式集群(单节点与多节点)配置
单节点伪分布式集群搭建和多节点伪分布式搭建。原创 2017-06-07 16:59:22 · 1703 阅读 · 0 评论 -
Mapreduce之WordCount的三种运行方式
一、在本地windows运行 1.配置hadoop环境变量 2.把winutils.exe文件放到%HADOOP_HOME%的bin目录中 3.设置HADOOP_HOME环境变量,需要根据此环境变量获取上面的文件 4.hadoop.dll文件放到c:/windows/System32目录下,否则会报错 5.hadoop-2.6.0\share\hadoop\common\sources目录原创 2017-09-07 21:08:21 · 412 阅读 · 0 评论 -
SSH协议简单介绍
1 对称密钥和非对称密钥1.1 对称密钥 对称加密算法是应用较早的加密算法,技术成熟。在对称加密算法中,数据发信方将明文(原始数据)和加密密钥(mi yao)一起经过特殊加密算法处理后,使其变成复杂的加密密文发送出去。收信方收到密文后,若想解读原文,则需要使用加密用过的密钥及相同算法的逆算法对密文进行解密,才能使其恢复成可读...原创 2019-03-22 15:09:39 · 859 阅读 · 0 评论 -
MapReduce2原理解析
1 MapReduce概述 MapReduce源自于Google的MapReduce论文,改论文发表于2004年12月,现在的Hadoop MapReduce是Google MapReduce的克隆版本。 MapReduce的特点:①易于编程:用户不用考虑...原创 2019-04-04 09:52:29 · 1747 阅读 · 0 评论 -
HDFS实战
1 HDFS shell命令(1)hdfs命令概览(2)文件操作命令常用的命令 ①将本地文件上传到HDFS上 hadoop fs -copyFromLocal /local/data /hdfs/data &n...原创 2019-03-31 19:09:40 · 853 阅读 · 0 评论 -
HDFS原理解析
lHDFS提供分布式存储机制,提供可线性增长的海量存储能力。自动的数据冗余,无须使用Raid(磁盘阵列),无须另行备份。为进一步分析计算提供数据基础。1 HDFS设计基础与目标 (1)超大文件。HDFS能够处理百万规模以上的文件数量( GB、TB、PB级...原创 2019-03-28 22:45:47 · 528 阅读 · 0 评论 -
YARN原理简介
1 YARN产生的背景(1)MapReduce1.0问题 ①扩展性受限:JobTracker对任务进行调度,也对资源进行分配,承受的访问压力大,影响系统的扩展性。 ②JobTracker单点故障问题:如果Hadoop集群的JobTracker挂掉,则整...原创 2019-04-02 16:31:37 · 528 阅读 · 0 评论