双系统/虚拟机安装实践记录

一个关于spark的介绍:http://www.csdn.net/article/2015-07-10/2825184
课程实践:
目标一:系统搭建
目标二:使用spark进行数据处理
系统搭建步骤:
1、安装HDFS
·下载Hadoop:http://hadoop.apache.org/releases.html
·配置Hadoop集群:http://hadoop.apache.org/docs/r3.0.0-
alpha4/hadoop-project-dist/hadoop-common/ClusterSetup.html
· HDFS自然就可以使用了
2、安装Spark
·下载Spark:http://spark.apache.org/downloads.html
·配置Spark Standalone集群:http://spark.apache.org/docs/latest/sparkstandalone.html
3、安装MongoDB
·下载MongoDB:https://www.mongodb.com/downloadcenter?
jmp=nav#community (页面有安装指南)
·下载Mongo Spark Connector:https://www.mongodb.com/products/spark-connector
4、注:
Hadoop需要Linux操作系统,建议使用redhat
设置SSH无密码登录
安装JDK、Scala

1、首先在win10系统的主机上安装Linux双系统;或选择装虚拟机(更顺利)
安装双系统步骤:
(1)下载Linux系统镜像,可选择redhat、CentOS或Ubuntu等。这几种Linux发布版本的区别稍后可以再多了解一下。
(2)使用UltraISO软碟通的写入磁盘映像功能将Linux镜像写入到准备好的u盘(这个过程会首先把u盘格式化成fat32格式,所有数据会被覆盖,因此要提前对U盘做好备份)
(3)重启插且仅插上述u盘的电脑,开机过程中在合适的时机(还不是很清楚合适时机具体是什么时候,暂且常按)按下F12(或esc)进入启动设备菜单,选择usb并回车,下一步回车确认安装u盘所带系统。
(4)选择语言时区什么的,比较简单。复杂一点的是手动分区的过程,需要手动设置挂载点和分配空间。过后可以深入了解一下细节。一般包括根目录/,/boot,/home,/swap(交换分区,作用差不多类似于虚拟内存),剩余空间自动分给/vars。这里遇到了一个问题:最多只能添加3个挂载点,并不是顺序问题,不知道为什么。
(5)设置root密码和添加用户,重启电脑。这里遇到了一个问题:重启完仿佛什么都没发生一样回到了Windows,后来听到说原因可能是机房电脑装了增霸还原卡,需要先进入BIOS卸载掉它。还没有试,增霸还原卡也不是很了解,回头再去做一下。
PS:
格式化u盘为FAT32的步骤:http://www.ddsofts.com/windows/format2fat32/
安装centos系统步骤可以百度win10和centos双系统安装步骤,有很详细的图文教程。

2.于是我选择放弃,装了虚拟机。系统最初还是用的centOS镜像,但它某些设置不符合云计算实践要求,于是换了redhat
3.to be continued…

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值