大数据之Hadoop入门

最新推荐文章于 2024-04-27 23:55:29 发布
最新推荐文章于 2024-04-27 23:55:29 发布
阅读量2.7k 收藏 24
点赞数 4
分类专栏： 大数据 Hadoop 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43182741/article/details/108409635
版权

1、大数据概论

我接触大数据准确来说是在我上大二的时候，我在跟我的系主任一起做项目的时候，那个时候处理的国外的数据，大约是由500W的数据，当时我用的舍友的笔记本，直接卡到打不开，也就是在那个时候，才有了大数据的概念。
好了，进入正题！

1.大数据概念

大数据：指无法在一定时间范围内用日常的软件工具进行分析、处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长和多样化的信息资产。
所以学习大数据就是主要解决海量数据的存储和海量数据的分析计算问题。

2.大数据特点

大数据的特点主要是Volume（大量）、Velocity（高速）、Variety（多样）、及（value）低价值密度，简称4V。

3.大数据的应用场景

其实我本身是统计学出身，我们统计学出身的人有个习惯，就是喜欢研究数据之间的关联性，这大概也许是投身进入大数据的原因。
大数据现在已经充斥进入各行各业，物流仓储（比如京东）、零售（啤酒与尿布多经典啊）、旅游业、广告推荐（大家在购物App上的感受就不用我说了吧）、保险业、金融业，以及现在大家开始关注的人工智能，都是基于大数据的。

2、Hadoop生态

1.Hadoop是什么

既然大家看到了这里，也就证明大家对数据产生了兴趣，那么我就真正的带大家进入到大数据，首先我们要先来讲Hadoop，为什么呢？因为Hadoop的出现就是解决我们以往无法处理大量的数据而诞生的。
Hadoop是一个由Apache基金协会所开发的分布式系统基础架构，主要是为了解决海量数据的存储和海量数据的分析计算问题，广义上来说，Hadoop是指一个更加广泛的概念----Hadoop生态圈。一会我会给大家展示Hadoop的生态圈。

2.Hadoop的优势

现在我们来看以下Hadoop的优势，Hadoop优势主要是4高
（1）高可靠性：Hadoop底层维护了多个数据副本，所以就算Hadoop某个数据存储出现故障，也不会导致数据的丢失。
（2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
（3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
（4）高容错性：能够自动将失败的任务重新分配。

3.Hadoop的组成

Hadoop主要分为Common（辅助工具）、HDFS（数据存储）、Yarn（资源调度） 和 MapReduce（计算） 四个部分,这个是在2.0更新后的，在2.0之前的MapReduce和Yarn是在一起的，大家可以参考以下图片

在这里插入图片描述
4.HDFS架构概述

主要是由三个部分组成：
（1）NameNode：存储文件的元数据，如文件名、文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等，大家理解成目录就成了。
（2）DataNode：在本地文件系统存储文件块数据，以及块数据的校验和。
（3）SecondaryNode：每隔一段时间对NameNode元数据备份，它的角色就是NameNode的助手。

5.YARN架构概述

YARN由ResourceManager、NodeManager、ApplicationMaster、Container组成。
（1）ResourceManager主要作用如下：
（a）处理客户端请求
（b）监控NodeManager
（c）启动或监控ApplicationManager
（d）资源的分配与调度
（2）NodeManager主要作用如下：
（a）管理单个结点上的资源
（b）处理来自ResourceManager的命令
（c）处理来自ApplicationMaster的命令
（3）ApplicationMaster作用如下
（a）负责数据的切分
（b）为应用程序申请资源并分配给内部的任务
（c）任务的监控与容错
（4）Container
它是YARN上的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

5.MapReduce架构概述

MapReduce将计算过程分为两个阶段：Map和Reduce
（1）Map阶段并行处理输入数据
（2）Reduce阶段对Map结果进行汇总

6.大数据技术生态体系

大数据不是一个单单的一个框架就能够的，他需要一整套的系统，接下来就带大家看看大数据生态体系，大家先参考下图

在这里插入图片描述

上面的这个图就是我们的一个大数据的生态系统，这里就不每一个给大家介绍了。

3、Hadoop运行环境搭建

接下来给大家讲一下Hadoop的运行环境怎么搭建

1.虚拟机模板环境准备

(1）准备一台模板虚拟机hadoop100，虚拟环境配置要求如下：
我用的是Linux系统环境是CentOS7.5哈，好啦，开始准备模板虚拟机。
模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装Hadoop集群做准备。

[root@hadoop100 ~]# yum install -y epel-release
[root@hadoop100 ~]# yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

因为我们的虚拟机都是最小化安装的，所以它没有vim编辑器等插件，所以需要上面的代码帮助我们下载以供我们下面的配置安装！！但是是需要我们虚拟机连上网的，一般情况下虚拟机安装好后是可以连网的，大家可以测试一下

[root@hadoop100 ~]# ping www.baidu.com

(2)关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld

(3)创建atguigu用户，并修改atguigu用户的密码

[root@hadoop100 ~]# useradd atguigu
[root@hadoop100 ~]# passwd atguigu

(4)修改atguigu用户具有root权限，方便后期加sudo执行root权限的命令

[root@hadoop100 ~]# vim /etc/sudoers
## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
atguigu   ALL=(ALL)     NOPASSWD:ALL

(5)在/opt目录下创建文件夹，并修改所属主和所属组

[root@hadoop100 ~]# mkdir /opt/module
[root@hadoop100 ~]# mkdir /opt/software
[root@hadoop100 ~]# chown atguigu:atguigu /opt/module 
[root@hadoop100 ~]# chown atguigu:atguigu /opt/software

(6)卸载虚拟机自带的open JDK（可不操作）

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

(7)重启虚拟机

[root@hadoop100 ~]# reboot

2.克隆虚拟机

（1）利用模板机hadoop100，克隆三台虚拟机：Hadoop102、hadoop103、hadoop104
（2）修改虚拟机IP，以下以hadoop102举例
修改克隆虚拟机的静态IP

[root@hadoop100 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="ens33"
IPADDR=192.168.202.102
PREFIX=24
GATEWAY=192.168.202.2
DNS1=192.168.202.2

这里的每个人的网关不一样，大家根据自己电脑生成的自行修改，保证一致就可以了
（3）修改克隆机主机名

[root@hadoop100 ~]# vim /etc/hostname
hadoop102

配置Linux克隆机主机名映射hosts文件，打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts
#添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

(4)重启克隆机hadoop102

[root@hadoop100 ~]# reboot

(5)修改windows的主机映射文件（hosts文件）
这里操作的是windows10系统，进入C:\Windows\System32\drivers\etc路径
打开hosts文件并添加如下内容

192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108

3.在hadoop102上安装hadoop以及jdk

对了，这里我使用的是finalshell这个工具，大家把下载好的jdk和hadoop拖拽到上面创建好的software目录下，可参考下图：

在这里插入图片描述

标红的地方点击就可以上传压缩包了，上传成功后我下面的标红的地方就会有两个压缩包

在这里插入图片描述

然后进入到software路径下，进行解压

[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

解压成功后，我们需要配置jdk和hadoop的环境变量。
（1）新建一个/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(2)保存退出后加载一下配置文件,让新的环境变量PATH生效

[atguigu@hadoop102 ~]$ source /etc/profile

(3)测试安装是否成功

[atguigu@hadoop102 ~]$ java -version
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

如果以上都可以那我们的虚拟机可克隆成功了！！！大家可以接下来的学习了。

4、Hadoop的运行模式

Hadoop的运行模式包括：本地模式、伪分布模式以及完全分布式模式。
本地模式和伪分布式模式就不给大家展示了，我们在实际开发中都是完全分布式，那就直接进入正题。
完全分布式我们一共分为9个步骤来进行
1）准备3台客户机（关闭防火墙、静态ip、主机名称）
2）安装JDK
3）配置环境变量
4）安装Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh
9）群起并测试集群
前5个步骤我在上面已经给大家配置完毕了，大家参照步骤准备好配置好的3台虚拟机就行了，在配置集群之前，我先编写了一个集群分发脚本和配置ssh（免密登录到其他虚拟机）。

  • 集群分发脚本

在atguigu用户目录下创建xsync文件

[atguigu@hadoop102 ~]$ vim xsync

在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
echo ====================  $host  ====================
 #3. 遍历所有目录，挨个发送
for file in $@
do
#4. 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done

修改脚本xsync具有执行权限

[atguigu@hadoop102 bin]$ chmod +x xsync

将脚本复制到/bin目录下，以便全局调用

[atguigu@hadoop102 bin]$ sudo cp xsync /bin/
  • ssh无密登录配置

进入到atguigu的家目录下，输入以下代码，生成id_rsa（私钥）、id_rsa.pub（公钥）

[atguigu@hadoop102 ~]$ cd .ssh
[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后连接一下自己

[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102

这个时候就会生成一个授权authorized_keys

[atguigu@hadoop102 .ssh]$ ll
total 16
-rw-------. 1 atguigu atguigu  798 Sep  2 15:08 authorized_keys
-rw-------. 1 atguigu atguigu 1679 Sep  2 15:02 id_rsa
-rw-r--r--. 1 atguigu atguigu  399 Sep  2 15:02 id_rsa.pub
-rw-r--r--. 1 atguigu atguigu  561 Sep  2 13:11 known_hosts

最后一步最关键，分发公钥和私钥

[atguigu@hadoop102 ~]xsync .ssh

好啦，免密ssh就配置好啦！

  • 配置集群
hadoop102hadoop103hadoop104
HDFSNameNode DataNodeDataNodeSNN DataNode
YARNNodeManagerRM NMNodeManager

SNN是SecondaryNameNode的缩写RM是ResourceManager的缩写，NM是NodeManager的缩写。
（1）核心配置文件
配置core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件的内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定NameNode的地址 -->
  <property>
     <name>fs.defaultFS</name>
      <value>hdfs://hadoop102:9820</value>
  </property>
  <!-- 指定hadoop数据的存储目录 -->
  <property>
       <name>hadoop.tmp.dir</name>
      <value>/opt/module/hadoop-3.1.3/data</value>
  </property>
  <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
  <property>
      <name>hadoop.http.staticuser.user</name>
      <value>atguigu</value>
  </property>
  <!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
  <property>
      <name>hadoop.proxyuser.atguigu.hosts</name>
      <value>*</value>
  </property>
  <!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
  <property>
     <name>hadoop.proxyuser.atguigu.groups</name>
       <value>*</value>
  </property>
</configuration>

(2)HDFS配置文件
配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- nn web端访问地址-->
	<property>
       <name>dfs.namenode.http-address</name>
       <value>hadoop102:9870</value>
    </property>
    <!-- 2nn web端访问地址-->
    <property>
       <name>dfs.namenode.secondary.http-address</name>
       <value>hadoop104:9868</value>
    </property>
</configuration>

(3)YARN配置文件
配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <!-- 指定MR走shuffle -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!-- 指定ResourceManager的地址-->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop103</value>
  </property>
  <!-- 环境变量的继承 -->
  <property>
     <name>yarn.nodemanager.env-whitelist</name>  
     <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  <!-- yarn容器允许分配的最大最小内存 -->
  <property>
     <name>yarn.scheduler.minimum-allocation-mb</name>
     <value>512</value>
   </property>
  <property>
     <name>yarn.scheduler.maximum-allocation-mb</name>
     <value>4096</value>
  </property>
  <!-- yarn容器允许管理的物理内存大小 -->
  <property>
     <name>yarn.nodemanager.resource.memory-mb</name>
     <value>4096</value>
  </property>
  <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
  <property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
  </property>
  <property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
  </property>
</configuration>

(4)MapReduce配置文件
配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
  <property>
      <name>mapreduce.framework.name</name>
     <value>yarn</value>
   </property>
</configuration>

(5)在集群上分发已经配置好的hadoop配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/
  • 群起集群

配置workers，这个地方主要是配置DataNode从机的启动

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容:

hadoop102
hadoop103
hadoop104

同步所有节点配置文件

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

启动集群
注意：如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

[atguigu@hadoop102 ~]$ hdfs namenode -format

接下来启动HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

启动YARN（在配置了ResourceManager的节点（hadoop103））

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

至此，我们的集群就启动成功啦！！！大家可以测试一下，上传一个文件

[atguigu@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

然后去端口查看就可以啦，感谢各位阅读嚯。

爱学习的老冰棍
关注
  • 4
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据之Hadoop图解概述
2401_84048179的博客
04-20 1108
1）NameNode（nn）：存储文件的。
尚硅谷大数据之Hadoop入门
11-29
尚硅谷大数据之Hadoop入门，Hadoop是目前大数据领域的流行框架，用java编写，运行在Linux集群上，这篇笔记关于Hadoop做了详细的介绍，并且还讲解了如何搭建Hadoop本地模式，伪分布模式和完全分布式模式
大数据技术之Hadoop(入门).docx
03-02
大数据技术之Hadoop(入门).docx详细文档
大数据之hadoop入门
qq_44273739的博客
09-01 901
是一个分布式系统架构，Apache基金会所开发的。主要解决海量数据的存储和海量数据的分析计算问题。Hadoop通常指一个更广泛的概念，Hadoop生态圈（Hadoop, Hive, ）大数据之父：Doug Cutting，开发了Lucene，一个搜索引擎，类似谷歌搜索引擎。为了在对Lucene进行优化升级，提升面对大数据的查询效率，结合谷歌发布的三篇论文，实现了DFS和MapReduce机制，使Nutch搜索引擎性能飙升。之后项目立项更名为Hadoop，从此Hadoop诞生了。
Hadoop安装(比较简单，适合刚入门的小伙伴)_hazop软件安装教程
最新发布
2401_84181070的博客
04-27 818
配置一下网关IP，跟图中一样即可一直确定，就配置完成了。
大数据框架Hadoop篇之Hadoop入门
Miracle8070
12-18 2234
Hadoop是一个Apache基金会开发的分布式系统基础架构， 主要解决： 海量数据的存储和海量数据的分析计算问题
大数据技术之Hadoop入门
hongjinga的博客
12-07 879
初识大数据，和初识Hadoop，大数据特点，部门内组织结构，明白Hadoop中hdfs 和 mapreduce 和 yarn之间的关系
大数据之hadoop
geejkse_seff的博客
08-30 1502
大数据: 就是对海量数据进行分析处理，得到一些有价值的信息，然后帮助企业做出判断和决策.处理流程:1:获取数据2:处理数据3:展示结果Hadoop是一个分布式系基础框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理.它主要解决两个问题大数据存储问题： HDFS大数据计算问题：MapReduceHadoop最早起源于Nutch。...
大数据之Hadoop3简单入门（一）（通俗易懂）
qq_41857955的博客
10-08 4030
2.1.1 概念hadoop是一个分布式系统基础架构，主要解决数据存储与海量分析计算的问题，广泛来说，hadoop通常指的是Hadoop生态圈。2.1.2 hadoop优势主要分为4个方面。高可靠性：hadoop底层维护多个数据副本，即使当hadoop某个计算元素或存储出现故障，也不会导致数据丢失。高扩展性：集群间分配任务数据，可方便扩展数以千计的节点。就是动态的增加服务器的节点，保证每个节点正常运行，不会宕机。高效性：在MapReduce的思想下，hadoop是并行工作的。可以加快任务处理速度。
大数据框架Hadoop篇入门了解
m0_73749550的博客
04-22 1307
HDFS（Hadoop Distributed File System）是Apache Hadoop项目的一个核心组件，用于存储大规模数据集。它设计用于在普通硬件上提供高吞吐量访问数据。Yet Another Resource Negotiator(YARN), 是Hadoop的资源管理器ResourceManager(RM): 整个集群资源(内存,cpu)的老大NodeManager(NM): 单个节点服务器资源的老大AplicationMaster(AM): 单个任务运行的老大。
大数据技术之 Hadoop（入门）
HelloWowofei的博客
07-22 1108
注意：在企业开发时，通常单个服务器的防火墙时关闭的。如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境。：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、根据任务对时间的准确程度要求周期同步。是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
尚硅谷大数据技术之Hadoop（入门）1
08-04
- **多样**：图2-4展示了数据类型的多样性，处理多种类型数据的能力是大数据技术的关键挑战之一。 - **低价值密度**：图2-5表示大数据中的大部分数据可能没有立即的价值，需要通过深度分析才能揭示隐藏的洞察。 ...
大数据及Hadoop入门
sinat_38594401的博客
11-29 127
大数据及Hadoop入门大数据基础概念基础知识Hadoop入门概念优势版本差异Yarn架构功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 大数据基础 概念 大数据（Big Data）指无法在一定时间范围内用常规软件工具进行捕捉、管
大数据学习之Shell
二锅头的博客
09-01 2466
1、Shell概述 我们知道，一台机器是由硬件组装起来的，它还有操作系统，Windows、Linux、Mac等，我们在Linux里面介绍过，而我们今天讲的Shell就是在基于Linux内核的基础上，接收应用程序（用户命令），然后调用起来操作系统的内核来分配资源，进行指令的运行，我们可以参考下图理解 #mermaid-svg-NoG3iJVR6vIUfyXn .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermai
Dolphin Scheduler 2.x版本部署篇
二锅头的博客
08-08 2258
DS基础部署篇
大数据学习之正则表达式
二锅头的博客
09-03 2037
前天在写Shell的时候感觉正则表达式真的是非常的重要，这也是我之前在处理数据时经常会用的比较多的地方，今天就来给大家做一个详细的介绍，冲！ 1、正则表达式的定义 1.理解 正则表达式是你所定义的模式模板，Linux工具可以用它来在过滤结构化数据、半结构化数据及非结构化数据时使用你定义好的正则表达式进行匹配，从大量的数据中过滤出你想要的特定数据。可参考下图理解 正则表达式利用通配符来描述数据流中的一个或多个字符。我们常在Linux中使用其来确定数据，在之前我们在介绍Shell工具的时候就使用过“.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值