![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
庸医2048
edgex foundry开发工程师
展开
-
从零学习Hadoop--001Hadoop的起源与体系介绍
Google面对的数据和计算难题1>大量的网页怎么存储呢?传统是买一个很大很大的存储设备。是存到各个pc服务器的内存中,加快,采取了冗余的办法。2>搜索算法响应时间是0.00000几秒。3>Page-Rank计算问题。对网页价值进行排名。谷歌搜索为什么会快?使用了倒排索引(哈希索引)1首先对这个文章进行分词。快速定位到关键字。原创 2016-12-10 15:04:09 · 285 阅读 · 0 评论 -
Hadoop基于文件的数据结构
Hadoop的SequenceFile适合记录 二进制键/值对提供一个持久数据结构。将它作为日志文件的存储格式时,你可以自己选择key为LongWritalbe类型所表示的时间戳,values可以是Writable类型用于表示日志记录的数量。SequenceFile可以作为小文件的容器。就这样就写入了一个SequenceFile.createWriter方法:原创 2016-12-25 10:35:01 · 328 阅读 · 0 评论 -
Hadoop第一个demo运行错误
Exception in thread "main" java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses. at org.apache.hadoop.mapre原创 2016-11-28 10:12:44 · 3688 阅读 · 1 评论 -
Hadoop2.x各个端口
Hadoop各个端口详解的查看链接1.DataNode的http服务的端口、ipc服务的端口分别是哪个?2.NameNode的http服务的端口、ipc服务的端口分别是哪个?3.journalnode的http服务的端口、ipc服务的端口分别是哪个?4.ResourceManager的http服务端口是哪个?5.NodeManager的http服务端口是原创 2016-11-25 11:19:38 · 1472 阅读 · 0 评论 -
Hadoop报错
Exception in thread "main" java.io.IOException: java.net.ConnectException: Call From LiuKai-PC/192.168.3.86 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refus原创 2016-12-05 22:27:29 · 1376 阅读 · 0 评论