【大数据技术及应用】概念及操作介绍&Linux下环境安装配置

最近开设了大数据课程，根据课上所学以及资料的查阅，小虾将下面一些知识分享给大家

☀️基础概念及操作介绍

⭐️大数据概述

❀大数据是什么

通过分布式存储技术，存储海量数据，运用分布式运算框架来分析并挖掘出有价值的信息。

❀两个基本概念

• 大数据存储：要满足能够存储海量数据，传统存储方式无法满足，需要使用时目前主流分布式存储方案。
   
• 大数据计算要满足：能够实现海量的数据分析，使用分布式计算方式。

❀五个特征-5V

• Volume(大量)
• Value(价值)
• Velocity(高速)
• Variety(多样)
• Vertical(真实)

❀存储和计算的问题

byte*1024->kb*1024->mb*1024->gb*1024->tb*1024->pb*1024->eb*1024->zb*1024->yb*1024->nb*1024->db

❀谷歌三大理论 

---

⭐️Hadoop大数据平台

❀Linux基础

Linux基本概念，目录结构，vi编辑器，文件目录的操作，权限管理，软件安装配置

❀Java开发

JavaEE，maven

❀数据库

数据库的基础理论，至少使用过一款关系型数据库(mysql/oracle/sqlserver)

---

⭐️Linux常用命令

❀系统指令

ip addr # 查看本机ip地址

❀目录指令 

cd # 进入根目录
cd 绝对路径/相对路径 # 进入指定目录
cd . # 返回上级目录
pwd # 查看当前绝对路径地址
ls # 查看当前目录下文件
ls -l # 列表方式查看当前目录下文件,等价于ll指令
ls -a # 查看当前目录下所有文件，包括隐藏的文件
mkdir 目录名称 # 创建目录，只能是一级目录
mkdir -p 目录1/目录2/目录3 # 创建多级目录
cp -a 源文件 目标目录 # 复制整个源文件包含子目录和权限到目标目录
mv -f 源文件 目标目录 # 移动(剪切)源文件到目标目录，-f表示强制覆盖，无需提示，该指令可以 实现重命名的效果
rm -r -f 目标文件 # 强制递归方式删除目标文件
rename 原文件名 新文件名 被修改的文件 # 修改目标如果是目录的情况下，原文件名和被修改的文 件是相同的字符串
touch 文件名 # 创建文件
echo "内容" > 文件名 # 覆盖文件内容
echo "内容2" > 文件名 # 追加文件内容
cat 文件名 # 查看文件内容

❀Vi编辑器 

vi编辑 器 是所有的unix系统和linux系统中的标准编辑 器 ，他的强大 不 逊色于任何的新的文本编辑 器 ，但是对于大 部分人来讲，需要有一个上手操作的过程。

• 命令模式：控制光标的移动，可以进行字符或者行的删除、移动和复制的操作。
• 插入模式：只有在插入模式中，才可以做文件的输入，按 i 键进入，按 esc 退出。
• 底行模式：将文件保存或退出vi编辑器。【按 esc 进入命令模式，输入 :wq 表示保存并退出，输入 :q 可以在文件未修改的情况下退出。输入 :q! 在文件已修改未保存情况下强制退出，输入 :w 保存当前文件】

---

☀️Linux下环境安装配置

⭐️更新CentOS6源为阿里yum源

# 备份yum源配置文件
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
# 下载新的配置文件
wget -O /etc/yum.repos.d/CentOS-Base.repo https: /mirrors.aliyun.com/repo/Centos-
6.repo
# 产生新配置文件的缓存
yum makecache
# 替换源文件配置为阿里云的数据源
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d'
/etc/yum.repos.d/CentOS-Base.repo
# 替换http为https
sed -i 's/http/https/g' /etc/yum.repos.d/CentOS-Base.repo
# 替换版本为当前系统的版本（当前系统版本为CentOS6.5）
sed -i 's/$releasever/6.5/g' /etc/yum.repos.d/CentOS-Base.repo
# 替换最新加载方式
sed -i 's/centos/centos-vault/g' /etc/yum.repos.d/CentOS-Base.repo
# 清楚现有缓存生成新缓存
yum clean all & yum makecache

---

⭐️Linux下安装和配置jdk

# 安装jdk的依赖环境
yum -y install glibc.x86_64
# 使用XFTP工具上传linux版本的jdk到root目录
# 创建存放jdk的文件夹
mkdir -p /usr/local/java
# 解压jdk到新建的文件夹中
tar -xvf jdk-8u241-linux-x64.tar -C /usr/local/java
# 配置jdk
vi /etc/profile
# 在最后追加如下内容
# jdk enviroment
JAVA_HOME=/usr/local/java/jdk1.8.0_241
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
# 刷新配置文件
source /etc/profile
# 查看jdk版本配置
java -version

---

⭐️Linux下安装mysql5.7 

# 检查当前系统中是否存在mysql或相关的依赖
yum list insatlled | grep mysql
# 存在则需要删除(假设存在mysql80文件夹)
yum -y remove mysql80
# 从mysql官网下载mysql57的rpm支持包
wget -no-check-certificate https: /dev.mysql.com/get/mysql-community-release-el6-
5.noarch.rpm
# 安装mysql的rpm包
yum install mysql-community-release-el6-5.noarch.rpm
# 查看文件安装是否成功(包含mysql-community.repo和mysql-community.repo则表示成功)
ll /etc/yum.repos.d
# 查看mysql57的源是否可用
# 列表中不存在mysql57则表示不可用，需要修改/etc/yum.repos.d/mysql-community.repo中mysql
下的enable的值为1即可。
yum repolist enabled | grep mysql
# 升级mysql的GPG服务
rpm -import https: /repo.mysql.com/RPM-GPG-KEY-mysql-2022
# 安装mysql服务
yum install mysql-community-server
# 启动mysql
service mysqld start
# 如果报错则编辑mysql的配置文件，添加explicit_defaults_for_timestamp=true即可。
vim /etc/my.cnf
# 依然报错的话查看mysql配置文件中datadir的值,该值一般是/var/lib/mysql
vi /etc/my.cnf
# 删除/var/lib/mysql文件夹中的所有内容
rm -fr /var/lib/mysql *
# 手动初始化mysql
mysqld -initialize -user=mysql
# 再次尝试启动mysql
serviec mysqld start

---

⭐️配置MySQL

# 使用root登录mysql,首次登录默认无密码，输入密码的地方直接回车即可。
mysql -uroot -p
# 如果提示密码错误则需要重置root密码
# 编辑mysql配置文件
vim /etc/my.cnf
# 在[mysqld]字段下新增skip-grant-tables，然后保存退出
# 重启mysql服务
service mysqld restart
# 无账号登录数据库
mysql
# 选择数据库
use mysql;
# 修改root密码:password ('root')双引号中为设置的新密码，一定要记住
set password for 'root'@'localhost' = password('root');
# 刷新数据库
flush privileges;
# 退出数据库
quit
# 再次编辑mysql配置文件
vim /etc/my.cnf
# 删除之前增加的skip-grant-tables，保存退出
# 再次重启mysql服务
service mysqld restart
# 使用root登录数据库
mysql -uroot -p
# 选择数据库
use mysql;
# 设置远程登录
update user set host='%' where user = 'root';
# 刷新数据库
flush privileges;
# 编辑iptables配置文件
vi /etc/sysconfig/iptables
# 加入如下内容
-A INPUT -p tcp -m state -state NEW -m tcp -dport 端口号 -j ACCEPT
# 重启防火墙
service iptables restart

---

⭐️Linux下彻底卸载MySQL 

# 查看已安装的mysql
rpm -qa|grep -i mysql
# 删除已安装的mysql，上面的命令会查到很多内容，需要挨个执行该命令删除
rpm -ev -nodeps mysql-community-libs-compat-5.7.38-1.el6.x86_64
# 查询和mysql相关的目录
find / -name mysql
# 删除所有查到的目录，这里只演示删除一个的命令
rm -rf /usr/lib64/mysql
# 删除mysql配置文件
rm -rf /etc/my.cnf