分布式
文章平均质量分 53
千语_肉丸子
好好学习、天天向上
结交各种大牛、共同进步
展开
-
Hadoop伪分布式-----Spark的安装和配置
在前面几章已经搭建好Hadoop环境,本节主要介绍在Hadoop基础上搭建Spark平台1 下载所需安装包1)下载spark安装包 2)下载Scala安装包,并解压安装包本例以下面版本为例2配置环境变量利用命令sudo gedit /etc/profile配置如下环境变量3 查看Scala版本4 配置Spark将 spark -env.sh原创 2017-03-30 20:27:58 · 2322 阅读 · 0 评论 -
1.2Hadoop伪分布式搭建-------JDK和SSH的安装和配置
本人是的虚拟机ubuntu系统里搭建的Hadoop分布式平台,如果是windows系统需要提前安装虚拟机和ubuntu系统本节只要介绍Hadoop伪分布式搭建过程中的JDK和SSH的安装与配置,下一节介绍Hadoop的安装和配置1安装JDK1.1 解压JDK1)下载JDK安装包,安装包位置为home/lqy/Downloads2)使用命令tar xvf jdk-7u...原创 2017-03-04 20:48:20 · 506 阅读 · 0 评论 -
1.3Hadoop伪分布式-----Hadoop安装和配置
上一节主要介绍jdk和ssh的安装和配置,本节主要介绍Hadoop环境变量的配置1Hadoop安装1.1下载Hadoop安装包,本文以0.2版本为例1.2把安装包放到home/lqy/Downloads目录下1.3使用tar xvf hadoop-0.20.2.tar.gz解压安装包2Hadoop文件配置2.1配置hadoop-env.sh文件,1)文件路径在c...原创 2017-03-04 20:50:20 · 445 阅读 · 0 评论 -
2.1hadoop伪分布式----eclipse的安装和配置
上一节介绍了Hadoop的安装和配置,这一节主要介绍eclipse和tomact的安装和配置2 eclipse的安装和配置2.1 下载eclipse安装包,并存放在home/lqy/Downloads目录下2.1使用tar xvf 解压文件解压过后形式2.2 打开eclipse1)点击eclipse可执行文件,配置workspace2)eclipse打...原创 2017-03-05 11:07:00 · 428 阅读 · 0 评论 -
2.2hadoop伪分布式---Wordcount.java配置和运行
Hadoop和eclipse均配置完成,本节主要是在Java中运行一个分布式程序Wordcount2.2.1环境变量配置1) 将 hadoop -eclipse -plugin -0.20.3 -SNAPSHOT.jar 放在 eclipse 下 dropins 目录中,重启 Eclipse 。2)Window —— >Preferences —— >Hadoop Ma...原创 2017-03-05 11:24:49 · 517 阅读 · 0 评论 -
2.3Hadoop伪分布式----Tomcat的配置和安装
本节主要介绍Tomcat的安装和配置2.3.1下载tomcat的安装包,并copy到home/lqy/Downloads的文件里2.3.2解压tomcat2.3.3 编码设置2.3.4启动tomcat服务器2.3.5地址栏输入http://localhost:8080 ’ ...原创 2017-03-05 15:31:30 · 1099 阅读 · 0 评论 -
3 伪分布式-----Nutch环境搭建和配置
在搭建好Hadoop和Tomact之后接下来,我们要开始搭建Nutch环境了3.1 Nutch的安装下载Nutch安装包,并解压3.2 Nutch的配置1)将Nutch自带的nutch-1.2.war文件copy到tomcat的webapps文件夹下面2)启动tomcat服务器,在浏览器中输入http://localhost:8080/nutch-1.23)在搜...原创 2017-03-07 18:27:43 · 285 阅读 · 0 评论 -
Spark概念知识笔记
文章参考链接:点击打开链接最近总结了个人的各项能力,发现在大数据这方面几乎没有涉及,因此想补充这方面的知识,丰富自己的知识体系,大数据生态主要包含:Hadoop和Spark两个部分,Spark作用相当于MapReduceMapReduce和Spark对比如下 磁盘由于其物理特性现在,速度提升非常困难,远远跟不上CPU和内存的发展速度。近几十年来,内存的发...原创 2018-07-04 20:03:11 · 321 阅读 · 0 评论 -
在ubuntu16虚拟机上安装Hadoop+spark+anaconda笔记
最近在学习利用spark进行数据挖掘,整理了一下安装过程,以前安装过老版本,不能跟上发展需要,一下问新版本安装过程仅供参考:一.软件下载地址:由于我电脑是windows的但是windows安装会遇到很多兼容性问题,因此在本机安装了虚拟机进行学习,整理了VMware、ubuntu镜像文件、jdk、Hadoop、scala、spark和anaconda的下载地址:VMware下载地址: ...原创 2018-07-03 19:56:47 · 1194 阅读 · 0 评论 -
Hadoop伪分布式-----HBase的安装和配置
1下载Hbase的安装包,并解压2修改配置文件hbase-env.sh3 修改Hbase-site.xml文件4 修改profile配置文件,增加环境变量5 hadoop -0.20.2 -core.jar 包迁移特别说明:将 hadoop 目录下面的 hadoop -0.20.2 -core.jar 包,拷贝到 hbase/lib/ 目录下面,并且将 hb原创 2017-03-24 22:17:48 · 1849 阅读 · 0 评论 -
1.1分布式学习流程
由于本人最近在学习分布式,故把自己从Hadoop-Nutch-Spark-hive搭建过程做为笔记记录下与大家学习交流一:分布式搭建流程1.1HadoopHadoop原本来自于谷歌一款名为MapReduce的编程模型包。Hadoop最初只与网页索引有关,开始的时候是 Nutch 的一个子项目,迅速发展成为分析大数据的领先平台。1.2 HBaseHbase的名字的来源是Hadoo...原创 2017-03-03 22:35:24 · 428 阅读 · 0 评论