![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 72
sissi_shen
这个作者很懒,什么都没留下…
展开
-
MapReduce的模式、算法和用例
在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers, Reduces, Combiners, Partitioners,和 sorting。基本MapReduce模式计数与求和问题陈述: 有许多文档,每个文档都有一些字段组成转载 2013-04-28 20:06:05 · 699 阅读 · 0 评论 -
【原创】《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(二)
【原创】《大数据互联网大规模数据挖掘与分布式处理》第二章大规模文件系统及MAP-Reduce 首先来看看这一章讲解的整体架构,分别介绍了分布式文件系统、Map-Reduce、使用Map-Reduce的算法,Map-Reduce扩展和集群计算算法的效率问题。原创 2013-06-07 20:08:18 · 3026 阅读 · 1 评论 -
HIVE本地独立模式安装
解压HIVE : tar -zxf hive-0.10.0.tar.gz 在/opt/hadoop/hive文件夹中,配置环境变量如下:在HDFS上建立tmp和/usr/hive/warehouse目录,并赋予组用户的写权限,这是HIVE默认的数据文件存放目录。在命令行下输入“hive”,如若可以进入hive的shell页面,并能浏览说明hive已经可原创 2013-06-15 20:40:30 · 1890 阅读 · 0 评论 -
HBase完全分布式安装及案例设计
HADOOP版本为0.20.2首先将hbase-0.90.5.tar.gz 的压缩包拷贝到安装目录下 用tar -zxfz 命令解压 为了方便期间把 hbase-0.90.5改名为 hbase 编辑hbase-env.sh 编辑hbase-site.xml ,修改hbase.root原创 2013-05-27 18:49:58 · 773 阅读 · 0 评论 -
HBase的一些理解
最近因为项目原因,研究了Cassandra,Hbase等几个NoSQL数据库,最终决定采用HBase。在这里,我就向大家分享一下自己对HBase的理解。 在说HBase之前,我想再唠叨几句。做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会被多少人访问,你面临的用户到底有多少,说不定今天你的用户还少,明天系统用户就变多了,结果您的系统应付不过来了了,不干转载 2013-05-19 15:32:33 · 979 阅读 · 0 评论 -
hadoop配置问题解决汇总
1.首先要学会去logs 下面查看报错信息!比如下面是就 datanode启动不成功的日志信息2013-05-19 11:29:47,201 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: /****************************************************原创 2013-05-19 11:57:08 · 2804 阅读 · 0 评论 -
Hadoop学习总结
作者:何荣波 学习Hadoop有一段时间了,主要是通过《Hadoop权威指南》,同时参考了网上的很多文章。静下心来,盘点下这一段时间的收获,归纳总结,做一个学习笔记,因为可以记录的东西实在太多了,所以这里就着重记录我在学习过程中花费比较多时间去理解的内容。说到Hadoop就不能不提到Lucene和Nutch。Lucene并不是一个应用程序,只是提供了一个Java的全文索引引擎工具包,可转载 2013-05-04 11:02:20 · 1302 阅读 · 0 评论 -
Hadoop的Map-Reduce例子 WordCount
最近在学习云计算,研究Hadoop框架,费了一整天时间将Hadoop在Linux下完全运行起来,看到官方的map-reduce的demo程序WordCount,仔细研究了一下,算做入门了。其实WordCount并不难,只是一下子接触到了很多的API,有一些陌生,还有就是很传统的开发相比,map-reduce确实是一种新的编程理念,为了让各位新手少走弯路,我将WordCount中的很多API都做转载 2013-05-04 11:09:14 · 1353 阅读 · 0 评论 -
Map Reduce - the Free Lunch is not over?
微软著名的C++大师HerbSutter在2005年初的时候曾经写过一篇重量级的文章:”The Free Lunch Is Over: A Fundamental Turn TowardConcurrency in Software“,预言OO之后软件开发将要面临的又一次重大变革-并行计算。摩尔定律统制下的软件开发时代有一个非常有意思的现象:”Andy giveth, and Bill t转载 2013-04-28 20:14:55 · 566 阅读 · 0 评论 -
《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(四)-----WEB广告
作者: 沈慧 目前,许多WEB应用通过广告而维持生计,从在线广告中获益最多的是搜索应用,“adwords”模型就是一种用于搜索查询和广告匹配的模型。这一章介绍了在线广告的相关问题、在线算法、Adwords实现和问题等,具体框架如下图1所示。图1 Web广告主要框架图一、在线广告相关问题1、当前WEB广告机会:网站上的展示广告、在线上商店自主选择的广告、搜索广告。原创 2013-06-21 20:44:36 · 2177 阅读 · 2 评论