![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 90
karwik
这个作者很懒,什么都没留下…
展开
-
Hadoop、Hive、Spark 之间是什么关系?
早在大数据概念出现以前就存在了各种各样的关于数学、统计学、算法、编程语言的研究、讨论和实践。这个时代,算法以及各种数学知识作为建筑的原料(比如钢筋、砖块),编程语言作为粘合剂(比如水泥)构成了一座座小房子(比如一个应用程序),形成了一小片一小片的村庄(比如一台服务器)。这个时代村与村之间还没有高速公路(GFS, HDFS, Flume, Kafka等),只有一条泥泞不好走的土路(比如RPC),经济转载 2017-06-15 16:01:56 · 839 阅读 · 0 评论 -
阿里云上部署java8和hadoop3.0、spark、hive及Mahout
1.安装JDK1.8到oracle官网:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmllinux是64位的,安装jdk-8u131-linux-x64.tar.gz 安装及配置参考http://blog.csdn.net/rchm8519/article/de原创 2017-06-13 12:05:19 · 3215 阅读 · 0 评论 -
Hadoop及Spark集群部署
实现主机间SSH无密登陆的步骤及原理,参考:http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.htmlhttp://blog.csdn.net/zhaihaifei/article/details/50523576自己复述一遍过程吧:例如我要用A无密访问B,C,D...等机器,那么我就先使用A生成密钥 ssh原创 2017-06-12 20:54:34 · 848 阅读 · 0 评论 -
LINUX下载运行MONGODB
curl -O http://downloads.mongodb.org/linux/mongodb-linux-x86_64-latest.tgz?_ga=2.203685907.2005591995.1522833621-772625683.1520840379 # 下载tar -zxvf mongodb-linux-x86_64-latest.tgz?_ga=2.203685907.2...原创 2018-04-04 18:03:12 · 380 阅读 · 0 评论 -
阿里腾讯云 hadoop+spark集群搭建(1)
阿里腾讯云 hadoop+spark集群搭建(1)linux版本: centos7hadoop版本: 3.1.1手上有三台学生机,完全没动过的:一台是阿里云服务器,两台是腾讯云。用阿里云做namenode,腾讯云做datanode。目标是搭好hdfs和yarn,后面搭spark和hive。 更新和下载软件包。安装jdk 版本为1.8.0 $ sudo yum -y ...原创 2018-10-28 23:16:40 · 1000 阅读 · 0 评论 -
阿里腾讯云 hadoop+spark集群搭建(2)
阿里腾讯云 hadoop+spark集群搭建(2)linux版本: centos7hadoop版本: 3.1.1spark版本: 2.3.2在1中已经搭建好了hadoop,接下来就是spark。为方便起见,用shell脚本完成下载spark、hive(后面再搭,先把spark跑起来)的操作。download_file.sh------------------------------...原创 2018-10-29 13:36:48 · 639 阅读 · 0 评论