大数据开发：实战要则

实战要则

大部分的人是因为看见而相信，很少部分的人是因为相信而看见。

1、软件开发明细

由于大数据软件需要不断迭代更新，版本替换，故每个软件需指定版本才能兼容使用，学习过程中必须统一软件开发环境。

本书需要以下基础的软件开发明细：

环境	软件环境		版本/配置
开发环境	模块设计工具	Office	Office 2016 Professional Edition
	开发工具	Eclipse	Luna
		IDEA	2016.3.16
	文档编写	Office	Office 2016 Professional Edition
	程序运行服务器	CentOS	CentOS 7.3
软件环境	语言工具包	JAVA	1.8.0_144
		Python	2.7.5
	大数据组件	Hadoop	2.6.0
		Spark	1.6.0
		Storm	1.1.1
		Zookeeper	3.4.5
		Kafka	2.2.0-0.10.2
		Habse	1.2.0
		Redis	4.0.0
		Mysql	5.7.19
		Hive	1.1.0
		ELK	5.5.2
		Grafana	4.4.3
		ScrapyRedis	0.6.8
		CDH	5.12.0
测试环境	程序运行服务器	CentOS	Centos 7.3
系统安装	U盘装机工具	Universal USB Installer	Universal-USB-Installer-1.9.7.9

以上软件为开源产品（除了office和IDEA，请购买正版，CDH内部分为商业版本，请谨慎使用），为方便学生开发和操作，可以通过acbce.com或者sevnoilem@gmail.com来索要（不建议官网下载）。

分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209，不管你是小白还是大牛，小编我都挺欢迎，今天的源码已经上传到群文件，不定期分享干货，包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程，欢迎初学和进阶中的小伙伴。

2、硬件开发明细

由于大数据硬件环境不同会对过程产生不同的影响，为不影响正常项目执行，学习中必须使用统一的硬件环境。

硬件设备				数量	网络连接	系统安装U盘
联想T420（i58G100GSSD）				11（台）	千兆局域网 无局域网代理 有线网卡	1（个） 至少8G容量
处理器:I5	内存：8G	硬盘：120G（SSD）	系统架构：X86_64

如果有基础的学生们可直接更换其他X86_64产品，如果没有基础的同学必须使用联想T420笔记本（如果没有经费，还是要3台以上最好）。

3、影像及教辅源

本书结合视频影像，操作文档，网站解答，远程授教，资源下载等形式综合于一体，致力协助难点重点。官网地址www.itstaredu.com，官方邮箱itstar@tanzhou.net，影像资料source.itstaredu.com。

2.4环境搭建实战

解释：接下来是环境准备和，虚拟机安装，LINUX修改，JDK，CDH安装等基础大数据环境搭建，如下步骤将至关重要，此进程将会影响后继代码开发和作业等一系列情况。

4、1BIOS初始选项设置

在这里设置BIOS的Virtualization是因为使用Vmware WorkStation Pro安装虚拟机过程中会出现以下错误：

所以要设置BIOS避免错误。本课程则不使用Vmware WorkStation Pro来安装Linux系统，通过Usb直接安装。（了解大数据或者有编程基础的学生，日常进行简单集群搭建和部署时推荐使用Vmware Workstation Pro）。

联想T420俯视图和ThinkVantage键所在位置：

 

显示此”ThinkPad”界面时，按ThinkVantage键：

 

此时，进入倒计时选项界面，按F1：

 

此时进入BIOS的引导界面，默认是Main选项。

 

此时，按“→“键移动到Security选项，然后按”↓“移动至Virtualization选项，如图所示：

 

进入Virtualization选项，会显示Intel (R) Virtualization Technology[Disable]和Intel(R)VT-d Feature[Disable]选项。

 

将Intel (R) Virtualization Technology[Disable]按“ENTER“键选择成Intel (R) Virtualization Technology [Enable]，Intel(R)VT-d Feature[Disable]按”ENTER“选择成Intel(R)VT-d Feature [Enable],如果默认双选项都是[Enable]，则不必操作。

 

进入Startup选项，将”-UEFI/Legacy Boot Priority”选项设置成[Legacy First]，如果这里默认是[UEFI First]，当通过U盘后续安装时会报错：” switch_root: failed to execute /sbin/init: no such file or directory “。

 

按“F10“，提示”Save configuration changes and exit now ?“,选择Yes，退出BIOS。

 

至此，BIOS初始选项设置完毕。