基础班课程内容:
-
linux阶段: 大数据组件运行的环境, 或者说我们以后开发的平台.
-
mysql阶段: 数据库 -- 数据存储和查询的工具.
-
kettle阶段: 数据采集工具.
-
FineBI阶段: 数据可视化工具.
大数据主要做的是什么呢?
-
提供海量数据场景下的解决方案
-
大数据解决方案解决的事企业穷的问题
对于计算机的要求:
-
内存: 最好是16G, 最少12G
-
磁盘剩余空间 最好200G以上, 最少 100G (最好不要使用机械硬盘)
-
最好不要安装 360 腾讯软件管家 动态桌面 桌面美化.... 一系列没用的软件
-
使用浏览器 edge Chrome Safari
文件同步软件的使用:
-
安装文件同步软件(注意: 一定不能取消勾选下列选项)
-
打开后选择左上角的加号,在下拉菜单中选择输入秘钥
-
输入需要共享文件的秘钥(每个学习阶段都会更换)
-
选择一个空文件夹用来同步老师的课程资料
-
选择完成后开始数据共享
注意:
-
一定要保证自己同步数据的目录是空目录
-
修改同步连接的首选项信息
勾选 : 覆盖已修改的文件复选框
取消勾选 : 备份已删除文件复选框
程序员的电脑中, 一定要开启扩展名和隐藏文件.
知识点1:什么是大数据(了解)
-
大数据解决的就是海量数据的存储问题,和海量数据的计算问题
-
大数据的特点: 大多值快信
知识点2:大数据的应用场景(了解)
大数据已经在我们生活中的方方面面都应用了,但是正常人无感知
金融授信: 根据个人的信息情况进行贷款金额的评估
推荐系统: 根据个人喜好推荐适合的商品或者视频等
精准营销: 根据个人喜好精准投放广告
路线规划:
物流系统:
.....
知识点3:大数据学习路线(了解)
-
大数据是目前就业薪资和就业前景最好的方向之一
-
大数据的学习路线是 操作系统>> 编程语言>>>大数据架构及其组件 >>> 项目
-
项目阶段是我们整个学习过程汇总能力提升最明显的阶段
-
大数据的就业方向非常广泛
-
大数据开发工程师
-
数据挖掘工程师
-
大数据分析师
-
大数据运维开发工程师
-
........
-
知识点4:计算机入门(了解)
计算机是由硬件和软件组成的
硬件系统:
-
运算器(在cpu中)
-
控制器(cpu中)
-
存储器(内存储器/外存储器)
-
输入设备
-
输出设备
软件系统:
-
系统软件: ==连接应用软件和硬件之间的桥梁==
-
以qq音乐为例:
-
qq音乐发送播放音乐指令给操作系统
-
操作系统将该指令转换为硬件可以听懂的二进制指令发送给播放音乐的硬件(音箱)
-
音箱播放音乐,并将开始播放音乐的状态反馈给操作系统
-
操作系统需要将这个状态反馈给qq音乐
-
-
没有操作系统,所有的应用软件将无法使用
-
没有操作系统我们就无法与硬件沟通
常用的操作系统:
-
linux
-
windows
-
mac OS
....
-
-
应用软件
常用的应用软件:
-
QQ
-
微信
-
爱奇艺
......
-
知识点5:Linux系统概述(了解)
-
linux发行时间: 1991年
-
linux的创始人: 林纳斯·托瓦兹
-
linux的吉祥物: 企鹅
-
linux的内核完全开源免费,但是linux的发行版不一定免费
-
常见的linux发行版有哪些?
-
redhat : 世界最大的linux发行版厂商, 已经被IBM收购
-
ubuntu: 桌面操作系统做的最好的
-
centos: 目前中国市场使用最多的linux版本,目前已经被redhat收购,但依然免费
-
deepin: 深度公司开发的linux版本.国内做的最好的linux发行版
-
知识点6:VMware虚拟机的安装与配置(必须掌握)
虚拟机的原理:
VMware虚拟机的安装:
-
双击打开安装程序,一直下一步,直到选择安装路径:
-
不能使用D:/这种方式,因为我们安装的文件我希望他统一进行管理 ,这样的安装方式会将零散文件安装在顶级目录下
-
正确的路径,应该是 D:/SoftWare/VMware
-
大数据相关软件的安装要遵循两个原则: 1. 集中管理,不能零散堆放. 2.路径中不能出现中文,包括中文符号
-
注意: 如果软件安装好后, 千万不要移动位置, 或者修改文件夹名称.
-
-
VMware虚拟机的删除:
-
没有特殊情况不要删除VMware
-
如果非要删除,就要遵循如下步骤:
-
进入系统卸载工具,找到VMware进行删除
-
进入安装页面删除安装目录
-
下载ccleaner软件,删除注册列表
-
重新安装VMware
VMware虚拟机的网络配置:
-
打开VMware软件,点击编辑>>>虚拟网络编辑器
-
点击更改设置,确认管理员权限,否则无法更改信息
-
选择VMnet8网络适配器,修改子网掩码和子网IP,点击应用
-
选择NAT设置,修改网关IP,点击确定
-
点击DHCP设置,修改起始和终止IP.点击确定
- VMware虚拟网络编辑完成
-
-
windows网络适配器设置:
-
在搜索栏搜索网络适配器
-
选择更多网络适配器
-
找到VMnet8,点击下拉菜单中的编辑按钮
-
选择ipv4协议双击后在弹出的对话框中进行修改,修改为如下参数
==注意: 此处的默认网关地址,和VMware虚拟网络适配器的网关地址要完全相同,否则虚拟机无法上网==
知识点7:Linux虚拟机的使用(必须掌握)
虚拟机使用流程:
-
解压单机模式的虚拟机,并移动到特定目录下统一管理, 建议: D:/虚拟机目录/node1
-
开启文件扩展名的查看功能
-
点击以vmx为扩展名的文件,双击即可开启虚拟机
-
点击虚拟机列表中出现的node1, 在右侧的窗口中,点击开启此虚拟机
-
如果出现提示弹窗,选择我已移动,如果没有提示则什么也不做
-
调整字体大小,方便输入用户名和密码
-
点击如下选项,输入用户名为root 密码为123456即可使用超级管理员权限登录 注意: 如果你的鼠标不见了,使用ctrl + alt 可以快速唤出鼠标
知识点8:远程连接虚拟机(必须掌握)
思考: 为什么要远程连接服务器呢?
-
大部分公司使用的是云服务业务,服务器在云端,此时只能远程连接
-
小部分公司,自己搭建服务器,此时机房与工作区间也会保持距离,因为机房长时间高噪音,不适合办公.
-
服务器一般无法连接输入输出设备.
远程连接服务器需要什么?
ip地址: ip地址就是这台主机在网络中的唯一编号.通过ip地址就可以找到他
网络: 网路必须畅通,至少保证主机和服务器间的网络是畅通的
远程连接工具: 推荐使用finalshell(免费的)
如果不使用软件, 可以使用ssh直接连接
ssh直接连接可以操作linux ,但是部分功能收到限制, 比如文件管理.
远程连接服务器流程:
-
安装远程连接工具: 省略安装过程,但是需要安装在指定目录中 例如 software
-
点击空白书页, 点击添加新的连接,点击ssh连接
-
输入连接信息
主机名称: 可以随意填写 建议使用node1
主机地址: 192.168.88.161
端口号: 22
用户名: root
密码: 123456
4.点击确定后,双击刚刚创建的连接
5.在弹出的对话框中选择接收并保存
6.连接成功
知识点9:Linux的目录结构(了解)
-
在linux 操作系统中,没有盘符的概念, 都是从根目录开始进行拆分的
-
在linux 中有两种数据存储类型, 一种是文件(file), 另外一种是目录(directory)
-
文件的特性: 可以存储数据
-
文件夹的特性: 可以存储子文件或者子目录
-
-
linux中采用的是目录树结构, windows中采用的是森系结构
-
根目录用/表示
-
linux中常用的目录结构:
-
/etc : 配置文件存放的目录, 相当于windows中的设置面板
-
/home: 用户的家目录,相当于windows中的用户目录
-
/opt: 应用程序存放的目录,相当于windows中的 software目录
-
/bin: 终端指令集存放的目录
-
/sbin: 超级管理员用户使用的指令集,包括用户的创建删除等指令
-
/root: 超级管理员的家目录, 每个linux系统默认有且只有一个超级管理员用户,拥有该操作系统的一切权限,也是最高权限.
-
知识点10: 虚拟机软件的使用(了解)
虚拟机内存的修改:
让虚拟机在后台运行:
如果finalshell 无法连接成功可能有两个原因:
-
centos虚拟机没有启动成功
-
网络环境没有配置好
linux中文件的上传和下载(借助远程连接工具):
上传:
在下方文件路径中,找到要上传文件的路径,右键点击上传
选择要上传的文件
最终查看文件是否上传成功
如果想要下载,直接选择对应的文件,右键下载即可
注意: 如果只是单纯想上传文件, 可以将文件拖拽到文件管理目录中
知识点11:Linux的常用命令(掌握)
linux指令的构成:
linux指令 = 命令(做什么) + 选项(怎么做) + 参数(对谁做) - command : 命令名, 相应功能的英文单词或单词的缩写 - [-options] : 选项, 可用来对命令进行控制, 也可以省略 - parameter : 传给命令的参数, 可以是 零个、一个 或者 多个
ls命令
ls命令: 展示linux系统中指定位置的目录信息
-a 查看所有文件,包括隐藏文件 -l 展示文件的详细信息,包括权限,归属,文件大小,创建修改时间,文件名称 -h 人性化展示文件大小,赋予最恰当的单位ls 指令的三个选项可以随意自由组合,且选项的顺序可以随意调整
ls -lh 展示文件详细信息列表,并且合理展示单位 ls -al 展示所有文件详细信息列表,包括隐藏文件 ls -alh 展示所有文件详细信息列表,包括隐藏文件,并且合理展示单位ls 可以获取任意指定路径的文件信息
ls 参数 路径信息 ls / 查看根目录的文件 ls aaa 查看当前目录下的aaa目录中的文件内容ls -l 完全等价于 ll 可以快速查看文件的详细信息
ll 也可以配合选项-h -a使用
linux中的路径:
==linux中不允许出现中文路径.==
什么是文件路径?
路径就是我们从根目录,盘符或者指定位置,查找到目标文件所经历的目录层级.
现实路径的描述方式:
-
中国 北京市 昌平区 回龙观东大街 xxx校区 x号楼 x单元.... 绝对路径
-
从当前位置触发,向前行驶五公里,左转向前行驶4公里,掉头...... 相对路径
计算机中路径的描述方式
-
绝对路径: 从根目录或者盘符出发,直到查找到目标文件所经历的目录层级
-
相对路径: 从当前目录出发,直到查找到目标文件所经历的目录层级
linux中的路径和windows中的路径有什么区别?
绝对路径中, linux 是从根目录出发进行查找, windows是从盘符出发进行查找
linux中路径的书写方式
linux.java绝对路径: /home/java/linx.java
从apple目录出发,到linux.java的相对路径: ../../home/java/linux.java
./ 代表当前目录 ../ 代表上一级目录
如果在java目录下查找linux.java文件:
绝对路径:/home/java/linux.java
相对路径:./linux.java
在实际开发中./可以省略, 所以也可以写为linux.java
如果现在在root目录下,我们需要查找89qi.java文件
相对路径:../home/java/89qi.java
绝对路径:/home/java/89qi.java
小技巧: ctrl + L 清屏
cd命令
change directory的简写
cd命令,是为了切换工作目录,或者说活动目录的
例如:ls后不加任何参数,则默认输出当前目录的文件信息, cd命令就切换的是当前目录
cd 路径信息 可以切换到指定目录中
cd ../ 返回上一级目录
cd - 返回上一次操作的工作目录
cd / 进入根目录
cd ~ 返回家目录, 波浪线可以省略
cd 什么也不写,则默认回到家目录下
注意: cd指令中 同样可以使用相对路径,也可以使用绝对路径
pwd命令
pwd命令获取的就是当前所在的工作目录的绝对路径
注意: pwd获取的是目录路径,不是文件路径 (==目录就等于文件夹==)
[选做] 可以书写一些技术博客:
CSDN
简书
掘金
博客园
...