Hadoop
Thingcor
这个作者很懒,什么都没留下…
展开
-
四、WordCount案例
下载Eclipse我是在windows下载的,然后从物理机上将下载的文件传入到虚拟机中。使用的是FTP服务。1、安装Eclipse1 解压将下载的文件放入到虚拟机中普通用户的~/目录下,然后解压:tar -xzvf ...2 打开eclipse1.进入到解压后的目录下。执行./eclipse。一般不会报错。2.设置workspace。使用默认的workspace。或者为了管理更改为eclipseworkspace。3.进入到welcome界面。不妨尝试新建一个项目。具体细节参考其他文章。4原创 2020-05-27 17:55:35 · 455 阅读 · 0 评论 -
Centos搭建Hadoop集群
版本Centos 6.5:64位。VMware 12jdk1.8课程Hadoop 2.5.2目录一、安装Centos 6.5二、linux基本配置三、Hadoop安装部署原创 2020-05-26 23:12:03 · 182 阅读 · 0 评论 -
三、Hadoop安装部署
说明:每个节点上的hadoop的配置基本相同,因此我们先完成一个结点的配置,然后再复制到其他节点。1、下载hadoop本篇使用的是2.5.2。[连接]完成下载后,在master机器的~目录下解压。而后可以看到如下目录:(关于如何将文件从物理机移动到虚拟机,自行百度。推荐一种方式:ftp服务。)2、配置环境变量hadoop-env.sh实际上在这一步只需要配置JAVA_HOME。找到~/hadoop/etc/hadoop/hadoop-env.sh。然后打开它:找到JAVA_HOME,然后将原创 2020-05-26 23:09:10 · 634 阅读 · 0 评论 -
二、linux基本配置
1、时钟同步打开终端,输入date查看时间step:1、转换为root用户:su root2、打开表示时钟的文件:crontab -e3、输入:0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org并保存4、在终端执行/usr/sbin/ntpdate cn.pool.ntp.org。可以看到已经成功,如果一次没有成功再次进行尝试。5、在其他机器上执行同样的步骤。2、配置主机名以master为例:执行命令:vi /etc/sysconfig/networ原创 2020-05-26 20:20:29 · 631 阅读 · 0 评论 -
一、安装Centos 6.5
说明:本篇文章安装的centos是面向hadoop集群的,所以其中一些命名使用了Hadoop之类的名字,如果读者不是面向hadoop的话,像这类的参数可以自由配置。1. 安装centos打开VMware->新建虚拟机,选择典型。然后下一步选择ISO镜像文件。然后下一步账户,用户名设置:全名:虚拟机的个性化名称(昵称),只是对用户名的一个备注说明,就好比给 狗(linux)起了个名字 [笨笨](昵称)。没有任何作用。[1]用户名:在安装系统的时候创建一个普通用户。Root用户是由系统自动原创 2020-05-26 20:14:26 · 595 阅读 · 0 评论 -
Hbase报错解决方法ERROR: KeeperErrorCode = NoNode for /hbase/master
步骤今天搭建Hbase环境,遇到了此bug。一开始搭建hdfs的时候还是很顺利的,参考着别人的博客,一步一的做下去,最后可以正常启动。而在搭建HBase的时候遇到了一个很大的bug。但是造成该bug的原因却没有什么高深的原理。简单来说就是:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的namespaceID会重新生成,导致namenode和datanode的版本不一致。下面参考中列出了两篇对我有启发性的博原创 2020-05-09 20:56:53 · 4118 阅读 · 1 评论