网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
* #### Hadoop
+ 基于Java语言开发,具有很好的跨平台特性,可以部署在廉价的计算机集群中。
+ 核心是分布式文件系统(HDFS)和分布式并行计算模型(MapResuce)。
+ 是公认的行业大数据标准开源软件,在分布式环境下提供了海量数据的处理能力。
* #### 优势
+ 高可靠性
- 采用冗余副本机制,一旦发生故障,冗余机器可提供服务。
+ 高扩展性
- 在计算机集群众数以千计的节点上分配数据并完成任务。
+ 高效性
- Hadoop并行处理Data,在节点间动态移动数据,并保证节点动态负载均衡。
+ 低成本
- 可以部署在廉价服务器集群上。
- ### 简述Linux命令的功能
* sudo
+ 以超级用户的权限执行命令
* cd
+ 切换目录
* mv
+ 移动或重命名文件
* chown
+ 修改文件或目录的所有权和所属组
* ls
+ 列出目录下的文件和子目录
* mkdir
+ 创建新文件夹
* cp
+ 复制文件或目录
* cat
+ 查看文件内容
* gedit
+ 打开文本编辑器(比vim更方便)
* whoami
+ 显示当前登录用户的用户名
* df
+ 显示磁盘空间使用情况
* ping
+ 向目标主机发送网络Data包并接受响应(测试网络连接)
- ### 简述如何安装VitualBox虚拟机的设备增强功能及作用
* 关于增强功能的介绍(部分功能需要额外配置)
+ 自动适配分辨率。
+ 开启了无缝模式:虚拟系统中打开的应用,将出现在原生系统的任务栏,可以在原生系统中使用。
+ 增加粘贴板共享功能。
+ 增加共享文件夹功能。
+ 增加与主机之间拖拽文件功能。
+ ### Hadoop的安装与配置
- #### 单机模式
* Hadoop 默认的运行模式为非分布式模式(即单机模式),Hadoop 解压后无须进行其他配置就可运行单机模式,非分布式表示单Java 进程。
* Hadoop单机模式只在一台机器上运行,存储采用本地文件系统,而不是HDFS(分布式文件系统)。
* 无须任何守护进程(daemon),所有的应用程序都在单个JVM(Java virtual machine,Java虚拟机)上执行。
* 在单机模式下调试MapReduce 程序非常高效方便,这种模式适用于开发阶段。
- #### 伪分布式模式
* Hadoop可以在单个节点(一台机器)上以伪分布式模式运行。
* 读取的是HDFS的文件。
* 同一个节点既作为NameNode、又作为DataNode。守护进程都在同一台机器上运行,是相互独立的Java进程。
- #### 分布式模式
* 一个虚拟机作为Master (主)节点,另一个虚拟机作为Slave1(从)节点。由3个及以上节点构建分布式集群,也可以采用类似的方法完成安装部署。
* Hadoop的守护进程运行在一个集群上。Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。
* 在所有的主机上安装JDK和Hadoop,组成相互连通的网络。
+ ### 第二次作业
- ### 简述Hadoop三种运行模式及其区别。
- ### 简述Hadoop集群安装配置的基本步骤。
* (1)在Master 节点上创建hadoop用户、安装SSH、安装Java环境。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
bbs.csdn.net/topics/618545628)**
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!