![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
文章平均质量分 76
不忘初心继续前行
这个作者很懒,什么都没留下…
展开
-
Spark集群搭建
Spark集群搭建一、搭建Spark的准备环境 1、在实验中我使用的系统是Ubuntu14.04,是在虚拟机上远程访问服务器,是安装在服务器上的(因为自己电脑的配置没有服务器的高)。至于下载地址,可以在Ubuntu官网上自行下载。 2、因为Spark的运行需要在HDFS分布式系统上运行,这样就不可避免的需要搭建Hadoop集群,并且需要yarn的支持。所以需要先原创 2017-05-13 10:16:05 · 770 阅读 · 0 评论 -
Hadoop集群搭建
Hadoop集群搭建在搭建Hadoop的步骤主要分一下几点:第一:安装虚拟机( 操作系统使用的是Ubuntu14.04)第二:找几个闲置的IP地址第三:安装ssh(主要用于无秘钥登录)第四:安装Java环境和Scala(Scala主要是为后边搭建spark集群用的)第五:安装Hadoop(本实验使用的是Hadoop-2.7.1)下面为大家介绍原创 2017-05-11 20:16:50 · 719 阅读 · 0 评论 -
Hadoop中DataNode不能启动的问题
Hadoop中DataNode不能启动1、DataNode不能动的主要原因是多次格式化namenode文件系统造成的。$ hdfs namenode -format这样就会出现DataNode无法启动,查看日志文件发现错误是因为namenode和DataNode的clusterID不一样所造成的。2、当格式化文件时,会在namenode(原创 2017-05-14 22:40:46 · 765 阅读 · 0 评论 -
hadoop2.7.1下的单词统计
hadoop2.7.1下的单词统计(hadoop自带jar包)注意:(本文的路径有点长,要注意对应的路径)1、搭建好了集群式hadoop以后,测试一下小程序,本文测试的是hadoop的Wordcount程序,也就是一个简单的单词统计程序。先启动hadoop2、hadoop的Wordcount程序是hadoop自带的一个小小的案例,可以在hadoop的解压包里找到这个jar文原创 2017-05-18 14:34:26 · 2449 阅读 · 0 评论