hadoop
文章平均质量分 63
李荣强
qunar 工程师
展开
-
hadoop 2.0 详细配置教程--转载
<p style= "font-family: Simsun; font-size: 13px; line-height: normal;"> 作者:杨鑫奇 <p style= "font-family: Simsun; font-size: 13px; line-height: normal;"> PS:文章有部分参考资料来自网上,并经过实践后写出,有什么问题欢迎大家联系我。 <p style=原创 2015-12-24 10:29:35 · 309 阅读 · 0 评论 -
Nutch学习笔记
Nutch:学习笔记 apt-get: 命令是Ubuntu下的命令 yum install报错:Another app is currently holding the yum lock ps rm -rf /var/run/yum.pid : 安装 svn: apt-get install subversion 用svn工具:获取nutch源码 安装ant : apt-g原创 2015-12-24 10:30:17 · 693 阅读 · 0 评论 -
hadoop学习笔记(笔记比较乱,随性…
map的输出数就是分区数,同时也是reduce的输入。 大的集合变成小的集合就是归约算法 map reduce八个步骤: 1 将输入文件按照一定的规则(这个跟你使用的输入格式化器有关系) 输入文件格式化类,对你的输入文件做一定的处理。进而分解为 map函数的输入键值对,即(key,value),每一个键值对都调用一次map函数 2 定义自己的map函数逻辑。生成新的key,valu原创 2015-12-24 10:30:20 · 438 阅读 · 0 评论 -
大数据hadoop学习之---Yarn 体系架…
<h2 style= "font-size: 17px; color: rgb(51, 51, 51); font-family: Verdana, Helvetica, Arial, sans-serif; line-height: normal;"> Apache Hadoop NextGen MapReduce (YARN)<a name= "Apache_Hadoop_NextGen_Ma原创 2015-12-24 10:30:29 · 407 阅读 · 0 评论 -
zookeeper在整个hadoop生态系统中…
zookeeper:原创 2015-12-24 10:30:39 · 1048 阅读 · 0 评论