victory_gwb的专栏

之所以题目里面有个V0.1，是因为尝试了一天后，在不知道什么原理的情况下，搭建部署成功，特将搭建过程记录于此；基础环境：操作系统：Ubuntu16.04安装步骤如下：1、安装依赖(我的机器上已经有依赖，所以没有执行下面命令)g++安装，执行如下命令：apt-get install g++libssl-dev安装，执行如下命令：apt-get install libs

hadoop版本2.7.2主要原因：yarn-site.xml配置问题：    每个nodemanager上可以用的内存大小Amount of physical memory, in MB, that can be allocated for containers. 注意：我的NM虚拟机是1G内存，1核CPU，当该值配置小于1024时，NM是

HDFS API文件上传,fs.default.name配置的关键性转连接http://www.codeweblog.com/hdfs-api%E6%96%87%E4%BB%B6%E4%B8%8A%E4%BC%A0-fs-default-name%E9%85%8D%E7%BD%AE%E7%9A%84%E5%85%B3%E9%94%AE%E6%80%A7/

最近在启动hadoop时候，发现slave节点的datanode没有启动（slave节点中使用jps命令未发现DataNode进程），然后执行stop-all.sh时候，发现no datanode to stop，后来查找原因，发现是由于多次执行hadoop/bin目录下的hdfs namenode -format原因造成的，多次格式化造成namespaceID不一致，解决方案有两种1、修改s

本人采用三台虚拟机搭建hadoop环境，其中在/etc/hosts文件中的配置为主机Ip1 hadoop1（用作master）主机Ip2 hadoop2（用作slave）主机Ip3 hadoop3（用作slave）搭建过程：1、创建hadoop用户（1）、搭建集群的时候，最好在统一用户下操作，包括hadoop问价夹的位置，java环境变量的位置等，在一台机器部署好了基本环境

1、什么是zookeeper？官方定义：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。就目前的了解，zookeeper是实现数据一致性的工具，并在数据一致性的基础上，实现各类应用场景。Zookeeper是基于paxos算法实现的基于消息传递的一致性算法，一个节点要成为leader，必须

最近学习zookeeper，看了很多资料，想在csdn上留存文章，以便翻阅学习本文转自：http://nileader.blog.51cto.com/1381108/1068033  ，作者很牛，如要转载，请转发连接《ZooKeeper快速搭建》http://nileader.blog.51cto.com/1381108/795230《ZooKeeper Java

各位大哥大姐，麻烦问一下，为什么csdn的资料一直晚上不了，5c币好难

昨晚饭后在校园里走着，脑海里一直在想有没有一种好的方法可以有效的做文本聚类，突然想到可以根据文本主题把文本聚到一起，因为尽管文章用词不同，可是事件是客观存在的，时间、地点、人物是不变的，顿时心情很是激动，于是速速回到实验室，在百度上一搜，恰好有一篇《一种基于主题的文本聚类方法》，心情很是失落，读之阅之，字字如刀割。于是，便想人与人之间到底有多少不同，我常想人与人的不同之处在于思想不同，意念不同，却

最近在搞一篇论文，头都大了，什么也不想说，什么也不想做，就在csdn上写一下心情吧，哎 。。。。

可以將workplace下的.metadata刪除，然後重啟eclipse，原路徑保持不變，再把項目重新導入即可，已驗證

很长的一段时间内，不断的听到关于Hadoop的各种各样的信息，学校的报告，csdn的各种会议，各种专家的预测。。。。在不久的将来，Hadoop将会遍布各个角落，因为现在进入了大数据时代，与之相关的可能会有数据挖掘，机器学习等内容的跟进，所以自己是不是也要尽快的了解学习这方面的知识呢，这个在未来的几年里应该有一个比较好的就业环境的吧？？？？？