林子雨 VirtualBox + Ubuntu[linux] 配置 java、hadoop、Spark[python]、pyspark快速配置流程(2)

最新推荐文章于 2024-08-27 08:41:51 发布

2401_83947105

最新推荐文章于 2024-08-27 08:41:51 发布

阅读量767

点赞数 8

分类专栏：程序员文章标签：运维学习面试

本文链接：https://blog.csdn.net/2401_83947105/article/details/138770647

版权

程序员专栏收录该内容

130 篇文章 1 订阅

订阅专栏

最全的Linux教程，Linux从入门到精通

======================

linux从入门到精通(第2版)
Linux系统移植
Linux驱动开发入门与实战
LINUX 系统移植第2版
Linux开源网络全栈详解从DPDK到OpenFlow

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

ubuntukylin-16.04-desktop-amd64：光盘映像文件，用于创建虚拟机

spark-2.1.0-bin-without-hadoop：spark

jdk-8u162-linux-x64.tar：java1.8 的jdk

hadoop-2.7.1.tar

4.创建、运行虚拟机

Ubuntu虚拟机的创建自行查看林子雨的教程，也可以上网搜，我认为要注意以下几点：

①虚拟硬盘选择50G

②在创建时选择的光盘映像文件(.iso)一定要和自己的Ubuntu版本匹配

③一定要注意Ubuntu版本和Spark版本能不能匹配！

④不要选择自动安装

启动后，点击virtualbox的菜单“设备”选项，选择“安装增强功能”，系统便会自动安装好增强的功能，如果如果需要提示需要确认，输入return即可。

打开终端，执行 sudo apt-get install virtualbox-guest-dkms

关机重启，更改分辨率以便于显示全部屏幕。

5.Hadoop部分

依次执行（以下shell指令均在虚拟机终端执行）

①sudo useradd -m hadoop -s /bin/bash 创建hadoop用户

②sudo passwd hadoop 设置密码

③sudo adduser hadoop sudo 添加管理员权限

④切换虚拟机账户到hadoop账户

⑤sudo apt-get update 更新apt，如若更新不了，

去到【虚拟机的系统设置-软件和更新-更改下载节点-mirrors.aliyun.com-重新载入】，更新apt，

在更改其他节点都不行的情况下，先往下进行，但apt不更新可能会导致有些软件无法下载。

⑥sudo apt-get install vim ，下载vim

⑦sudo apt-get install openssh-server 安装 SSH server

⑧ssh localhost ，登录本机

⑨设置无密码登录

exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示，都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权

⑩ssh localhost

关机，在VirtualBox更改网络连接方式为桥接网卡。

通过FTP软件把三个文件上传到一个你能在虚拟机找到的地方，比方说Downloads/下载，然后在虚拟机上cd，切换到该目录下，对文件进行解压相关操作。

解压：

sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop
sudo chown -R hadoop ./hadoop
cd /usr/local/hadoop
./bin/hadoop version 查看是否安装成功

hadoop到这里就结束了，伪分布式或其他方式配置参考林老师的教程，学习spark可以暂时不继续配hadoop

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0(2.7.1)/Ubuntu14.04(16.04)_厦大数据库实验室博客 (xmu.edu.cn) icon-default.png?t=N7T8 https://dblab.xmu.edu.cn/blog/7/

6.Java部分

①cd /usr/lib
②sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
③cd ~
④cd Downloads

⑤sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下

⑥cd ~
⑦vim ~/.bashrc

文件开头摁住a：append修改文件（esc退出编辑，wq保存文件）添加：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

⑧source ~/.bashrc

⑨java -version 查看是否安装成功

7.Spark部分

①sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/
②cd /usr/local
③sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark
④sudo chown -R hadoop:hadoop ./spark # 此处的 hadoop 为你的用户名

⑤cd /usr/local/spark
⑥cp ./conf/spark-env.sh.template ./conf/spark-env.sh

去虚拟机找这个spark-env.sh文件，右击，vim编辑，首行添加



为了做好运维面试路上的助攻手，特整理了上百道 **【运维技术栈面试题集锦】** ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，**小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。**

![](https://img-blog.csdnimg.cn/img_convert/3be289ec579c5557a1cf522f5b17caa9.png)

本份面试集锦涵盖了

*   **174 道运维工程师面试题**
*   **128道k8s面试题**
*   **108道shell脚本面试题**
*   **200道Linux面试题**
*   **51道docker面试题**
*   **35道Jenkis面试题**
*   **78道MongoDB面试题**
*   **17道ansible面试题**
*   **60道dubbo面试题**
*   **53道kafka面试**
*   **18道mysql面试题**
*   **40道nginx面试题**
*   **77道redis面试题**
*   **28道zookeeper**

**总计 1000+ 道面试题， 内容 又全含金量又高**

*   **174道运维工程师面试题**

> 1、什么是运维?

> 2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

> 3、现在给你三百台服务器，你怎么对他们进行管理?

> 4、简述raid0 raid1raid5二种工作模式的工作原理及特点

> 5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

> 6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

> 7、Tomcat和Resin有什么区别，工作中你怎么选择?

> 8、什么是中间件?什么是jdk?

> 9、讲述一下Tomcat8005、8009、8080三个端口的含义？

> 10、什么叫CDN?

> 11、什么叫网站灰度发布?

> 12、简述DNS进行域名解析的过程?

> 13、RabbitMQ是什么东西?

> 14、讲一下Keepalived的工作原理?

> 15、讲述一下LVS三种模式的工作过程?

> 16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

> 17、如何重置mysql root密码?

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

sql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

> 17、如何重置mysql root密码?

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化的资料的朋友，可以点击这里获取！](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**