Hadoop
yhao浩
关注机器学习,关注NLP
展开
-
Windows下搭建Hadoop(2.6.0) eclipse源码阅读环境
eclipse搭建hadoop2.6.0源码详细步骤原创 2015-01-22 11:39:56 · 4532 阅读 · 0 评论 -
hadoop三个配置文件的参数含义说明
hadoop常用端口配置1. HDFS端口参数描述默认配置文件例子值fs.default.namenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address转载 2015-01-27 11:33:49 · 1527 阅读 · 0 评论 -
Hadoop退出安全模式
hadoop为了防止数据丢失,启动了“安全模式”的设置,每次启动hadoop后一段时间内集群处于安全模式,该模式下集群会检查各节点文件块的记录,如果数据块中满足replication设置值的数据块的数量在总数据块数量中所占比例没有超过一定值(称为安全模式阀值,默认为0.999f),那么集群将持续处于安全模式,在该模式下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系原创 2015-01-13 12:43:58 · 48636 阅读 · 3 评论 -
倒排索引实现
倒排索引实现原创 2015-04-21 15:57:04 · 904 阅读 · 0 评论 -
倒排索引基础知识
1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型,图3-1展示了其含义。图3-1的每列代表一个文档,每行代表一个单词,打对勾的位置代表包含关系。转载 2015-04-21 16:15:32 · 889 阅读 · 0 评论 -
Hadoop2.6.0 + zookeeper集群环境搭建
在centos6.5上进行hadoop2.6.0+zookeeper集群初步安装原创 2015-04-08 11:15:29 · 4739 阅读 · 0 评论