Hadoop技术-学习笔记
ALL--IN
在追求技术的道路上,不断前行~
展开
-
1 Hadoop简介
Hadoop学习笔记转载 2017-01-23 20:58:21 · 410 阅读 · 0 评论 -
2 Hadoop的安装与配置
Hadoop学习笔记转载 2017-01-23 21:21:25 · 294 阅读 · 0 评论 -
3 MapReduce计算模型
MapReduce被广泛应用于日志分析、海量数据排序、在海量数据中查找特定模式等场景中。MapReduceJob在Hadoop中,每个MapReduce任务都被初始化为一个Job。每个Job又可以分为两个阶段:Map阶段和Reduce阶段。这两个阶段分别用Map函数和Reduce函数来表示。Map函数接收一个形式的输入,然后产生另一种的中间输出,Hadoop负责将所有具有相转载 2017-03-17 16:15:14 · 583 阅读 · 0 评论 -
4 开发MapReduce应用程序
系统参数配置Configuration类由源来设置,每个源包含以XML形式出现的一系列属性/值对。如:configuration-default.xmlconfiguration-site.xmlConfiguration conf = new Configuration();conf.addResource("configuraition-default.xml");co转载 2017-03-17 20:27:00 · 406 阅读 · 0 评论 -
05 MapReduce应用案例01
单词计数在一定程度上反映了MapReduce设计的初衷--对日志文件进行分析。public class WordCountMapper extends Mapper{ //该方法循环调用,从文件的split中读取每行调用一次,把该行所在的下标为key,该行的内容为value protected void map(LongWritable key, Text value,C转载 2017-03-26 12:37:43 · 442 阅读 · 0 评论 -
05 MapReduce应用案例02
6、統計每個月份中,最高的三個溫度。輸入格式:年月日 空格 時分秒 TAB 溫度inputfile:1949-10-01 14:21:02 34c 1949-10-02 14:01:02 36c 1950-01-01 11:21:02 32c 1950-10-01 12:21:02 37c 1951-12-01 12:21:02 23c转载 2017-03-28 13:30:15 · 301 阅读 · 0 评论 -
05 MapReduce应用案例03
8、PageRankPage-rank源于Google,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。Page-rank实现了将链接价值概念作为排名因素。算法原理– 入链 == 投票• Page-rank 让链接来“ 投票 “ ,到一个页面的超链接相当于对该页投一票。– 入链数量• 如果一个页面节点接收到的其他网页指向的入链转载 2017-03-28 20:57:06 · 413 阅读 · 0 评论 -
06 MapReduce工作机制
MapReduce作业的执行流程错误处理机制作业调度机制Shuffle和排序任务执行转载 2017-04-18 09:42:05 · 290 阅读 · 0 评论 -
HadoopHA集群搭建
三台主机:192.168.143.111 hdp1192.168.143.112 hdp2192.168.143.113 hdp31、安装配置ZooKeeper;(1)在conf目录下创建配置文件zoo.cfgtickTime=2000dataDir=.../zookeeper/datadataLogDir=.../zookeeper/dataLo转载 2017-03-15 09:19:18 · 354 阅读 · 0 评论 -
Hadoop小知识点
hdfs命令行上传 hadoop fs -put 文件名 hdfs://主机名:9000/...下载 hadoop fs -get hdfs://主机名:9000/... 文件名/hadoop/share/hadoop/mapreduce 文件夹下有测试程序提交MapReduce任务命令#hadoop jar hadoop-mapreduce-examples-2.转载 2017-03-13 13:11:42 · 269 阅读 · 0 评论 -
Hadoop集群搭建
1、关闭防火墙单次:# service iptables status# service iptables stop永久:# chkconfig --list# chkconfig --list | grep iptables# chkconfig iptables off2、修改IPsetup/etc/sysconfig/network-scrip转载 2017-03-13 12:24:38 · 221 阅读 · 0 评论