零-LINUX

##大数据预科学习班
###一、什么是大数据？
定义：
大数据（BIG DATA），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

数据计量单位已从从Byte、KB、MB、 GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到 内在规律。

数据换算：
1byte = 8bit
1K = 1024Byte
1MB = 1024K
1G = 1024M
1T = 1024G
1P = 1024T

特点
大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。

###二、大数据的应用
来源1：知乎

来源2：云栖之行

行业的典型应用

• 啤酒与尿布
• 抖音
• 今日头条

###三、如何学习大数据
工欲善其事、必先利其器
常用的大数据软件的安装与环境配置

1. 硬件

操作系统：Windows 7
系统类型：64位
已安装内存：4G - 8G内存

操作系统：Windows 10
系统类型：64位
已安装内存：4G - 8G内存

**注：**MAC系统更换为windows系统

检测个人电脑支持最大内存的方法：

win + R 打开cmd,输入复制下面代码
wmic memphysical get maxcapacity

如出现MaxCapacity: 33554432
表示最大内存为32G
计算公式：1024 * 1024 * 32 = 33554432

2. 软件

• Google浏览器
• 火狐浏览器
• IDM下载器安装配置
• MarkDown工具推荐及下载 马克飞象
• Windows JDK的安装
• Notepad++ 安装
• Everything 安装
• Vmware Work station 14虚拟化装置安装
• linux虚拟机安装及配置
• Xshell5安装及配置、SeCure CRT、Putty
  Xshell 安装：https://blog.csdn.net/sunyuhua_keyboard/article/details/80968035
  https://www.netsarang.com/download/down_form.html?code=622
• IDEA安装及配置
• Teamview工具安装及下载
• 360桌面管理

学习路径规划
潭州课堂主页

无JavaSE基础
###四、开始学习大数据

打开windows win + r 输入cmd

输入ipconfig

Vm1 - 仅主机模式的IP
VM8 - Nat模式的IP

异常
如果你的IP不是192.168开头的就有问题
VM8，不是还原

进入Linux学习
命令行
pwd 显示路径
ll 展示文件中包含的文件或文件目录
cd 是进入某个文件夹/目录
useradd XXX 创建XXX用户

####VI/VIM编辑器
一般模式
yy复制一行
yNy复制N行
p:粘贴
u撤销
dd删除一行
dnd删除多n行
x小写x,相当于del
X大写Backspace
shift + ^ 移动到行头
shift + $ 移动到行尾
1 + shiftl + g 移动到页面头
shift + g移动到页面尾
n + shift + g移动到目标行
:set number 显示文章行号

编辑模式

指令模式

选项
w 保存
q 退出
！ 强制执行
/ 查找 n 是查找下一个, shift + n 是往上查找
常用：
:wq
:wq!

进入编辑模式
i 在当前行进行编辑
o 是进入下一行进行编辑
退出编辑模式：esc
保存+退出 (:wq)

ifconfig / ipaddr是linux查IP的命令
ipconfig 是查windowsIP的命令

打开网卡 tab tab 可补全或显示所有与此有关的
vi /etc/sysconfig/network-scripts/ifcfg-ens33
我的：：vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

清屏
ctrl + l

复制/粘贴
ctlr+ c / ctrl + v
Ctrl+ Ins / shift + Ins
注:Ins键盘是insert键

修改为静态IP
BOOTPROTO=“dhcp” 这个是动态IP
BOOTPROTO="static"这个是静态IP
BOOTPROTO="none"这个是无

IP地址
IPADDR=192.168.44.121 我的是：192.168.144.121
网关
GATEWAY=192.168.44.2 192.168.144.2
子网掩码
NETMASK=255.255.255.0
DNS服务器1、2
DNS1=8.8.8.8
DNS2=8.8.4.4

vi /etc/resolv.conf
nameserver 8.8.8.8
nameserver 8.8.4.4

重启网卡
service network restart

显示OK就行了

在windows 安装Xshell5,新建一个连接
名称：虚拟机名称
主机：192.168.144.121
其余不管，点击用户身份验证：
root 和密码，此处为：hui123完成，后可连接

配置网络时，注意本机的ware8和虚拟机上的网址一至
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

ping 一下192.168.226.2，自己配置的GATEWAY和百度，成功后可以连接xshell

IDEA的安装
插件安装
alibaba插件
scala插件

. 代表当前路径
… 代表上一级目录

解压JDK命令
mkdir module
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

系统JDK环境变量的位置
vi /etc/profile

写入

export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH

环境变量生效
source /etc/profile

检验JDK是否生效
输入javac，回车

解压Hadoop
使用windscp上传
tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module/
cd hadoop-2.7.3/
创建日志logs和临时目录tmp
mkdir logs tmp

进入etc
cd etc/hadoop/
配置环境：
hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144

core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
    <value>hdfs://BigData121:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-2.7.3/tmp</value>
</property>

hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

格式化
bin/hdfs namenode -format

启动
sbin/start-dfs.sh

查看进程
jps

页面
IP地址:50070
web
如:192.168.144.121:50070
显示页面就对了

临时关闭防火墙
systemctl stop firewalld.service

永久禁用防火墙
systemctl disable firewalld.service

查看防火墙状态
systemctl status firewalld.service

修改主机名
hostnamectl set-hostnmae 主机名
如：hostnamectl set-hostnmae BigData121

检查主机名
hostname

关闭selinux防火墙

vi /etc/selinux/config

SELINUX=enforcing 改成
SELINUX=disabled