大数据学习必备前置知识——Linux 命令2

于 2024-08-09 18:13:27 发布
阅读量763 收藏 19
点赞数 12
分类专栏： Linux 文章标签： 大数据 学习 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45115959/article/details/141067477
版权

大数据学习必备前置知识——Linux 命令2

大家好！在为您带来精彩的技术干货之前，先给您推荐一个我精心运营的公众号[大数据深度洞察]。在这里，您将获取更多独家的技术分享、实用案例以及行业前沿资讯。
亲爱的读者们，当您准备开启这篇充满价值的技术文章之旅时，不妨先关注我的公众号[大数据深度洞察]。它是您在技术领域不断成长的好伙伴。
在这里插入图片描述

学习目标

熟悉组管理命令
熟练文件权限命令
熟悉搜索查找类命令
熟练压缩和解压缩命令
熟悉磁盘分区类命令
熟练进程线程类命令
了解系统定时任务命令

第七节 组管理类命令

每一个用户都具备一个用户组，系统能够针对一个用户组当中的所有用户进行集中管控。不同的 Linux 系统在用户组方面的规则不尽相同，比如在 Linux 之下，用户属于跟其同名的用户组，此用户组在创建用户的时候会同时被创建。用户组的管理包括了用户组的增加、删除和修改。组的增、删、改实质上就是对 /etc/group 文件的更新。

groupadd新增组

  • 基本语法
    groupadd 组名
  • 实操案例
    • （1）添加一个xitianqujing组
    [root@centos100 opt]#groupadd xitianqujing

groupdel删除组

  • 基本语法
    groupdel 组名
  • 实操案例
    • （1）删除xitianqujing组
    [root@centos100 opt]# groupdel xitianqujing

查看创建了那些组

  • 实操案例
    [root@centos100 lzl]# cat  /etc/group

usermod修改用户

  • 基本语法

    usermod -g 用户组 用户名

  • 选项说明

    选项功能
    -g修改用户的初始登录组，给定的组必须存在

  • 实操案例

    • （1）将用户加入到用户组
    [root@centos100 opt]#usermod -g xitianqujing tangseng

第八节 文件权限类命令

文件属性信息解读

  • 文件类型和权限的表示

    在这里插入图片描述

    • （1） 0首位表示类型 在Linux中第一个字符代表这个文件是目录、文件或链接文件等等
      符号对应文件类型
      -代表文件
      dd 代表目录
      l链接文档(link file)；
    • （2）第1-3位确定属主（该文件的所有者）拥有该文件的权限。U →User
    • （3）第4-6位确定属组（所有者的同组用户）拥有该文件的权限，G→Group
    • （4）第7-9位确定其他用户拥有该文件的权限 , O →Other

  • rwx作用到目录和文件的不同含义

    • 作用到文件
    [ r ]代表可读(read): 可以读取，查看
​[ w ]代表可写(write): 可以修改，但是不能删除该文件，对该文件所在的目录有写权限，才能删除.
​[ x ]代表可执行(execute):可以被系统执行
    • 作用到目录
    [ r ]代表可读(read): 可以读取，ls查看目录内容
​[ w ]代表可写(write): 可以修改，目录内创建+删除+重命名目录
[ x ]代表可执行(execute):可以进入该目录

  • 实操案例

    • (1)查看文件权限信息
    [root@centos100 ~]# ll
总用量 104
-rw-------. 1 root root 1248 1月  8 17:36 anaconda-ks.cfg
drwxr-xr-x. 2 root root 4096 1月 12 14:02 qujing
lrwxrwxrwx. 1 root root  20 1月 12 14:32 houzi -> xiyou/qujing/houge.tx
    • (2)文件属性介绍
    ls -l

    在这里插入图片描述

    ** 如果查看到是文件：链接数指的是硬链接个数**
    ** 如果查看的是文件夹：链接数指的是子文件夹个数 **​

chmod改变文件权限

  • 基本语法

    在这里插入图片描述

    • 第一种方式变更权限
    chmod [{ugoa}{+-=}{rwx}] 文件或目录
    • 第二种方式变更权限
    chmod [mode=421 ] [文件或目录]

  • 经验技巧

    u:所有者 g:所有组 o:其他人 a:所有人(u、g、o的总和)
​r=4 w=2 x=1         
rwx=4+2+1=7

  • 实操案例

    • （1）修改文件使其所属主用户具有执行权限
    [root@centos100 ~]# cp xiyou/qujing/houge.txt ./
[root@centos100 ~]# chmod u+x houge.txt
    • （2）修改文件使其所属组用户具有执行权限
    [root@centos100 ~]# chmod g+x houge.txt
    • （3）修改文件所属主用户执行权限,并使其他用户具有执行权限
    [root@centos100 ~]# chmod u-x,o+x houge.txt
    • （4）采用数字的方式，设置文件所有者、所属组、其他用户都具有可读可写可执行权限。
    [root@centos100 ~]# chmod 777 houge.txt
    • （5）修改整个文件夹里面的所有文件的所有者、所属组、其他用户都具有可读写执行权限。
    [root@centos100 ~]# chmod -R 777 xiyou/

chown 改变所有者

  • 基本语法
    chown [选项] [最终用户] [文件或目录]     （功能描述：改变文件或者目录的所有者）
  • 选项说明
    选项功能
    -R递归操作
  • 实操案例
    • （1）修改文件所有者
    [root@centos100 ~]# chown lzl houge.txt 
[root@centos100 ~]# ls -al
-rwxrwxrwx. 1 lzl root 551 5月 23 13:02 houge.txt
    • （2）递归改变文件所有者和所有组
    [root@centos100 xiyou]# ll
drwxrwxrwx. 2 root root 4096 9月  3 21:20 xiyou
[root@centos100 xiyou]# chown -R lzl:lzl xiyou/
[root@centos100 xiyou]# ll
drwxrwxrwx. 2 lzl lzl 4096 9月  3 21:20 xiyou

chgrp改变所属组

  • 基本语法

    chgrp [最终用户组] [文件或目录]   （功能描述：改变文件或者目录的所属组）

  • 实操案例

    • （1）修改文件的所属组
    [root@centos100 ~]# chgrp root houge.txt
[root@centos100 ~]# ls -al
-rwxrwxrwx. 1 lzl root 551 5月 23 13:02 houge.txt

  • 实战演练

    1.在opt目录下创建java目录，用于安装java框架。所有者为java部门的领导张总，所属组为java部门，张总有全部的权限，部门其他开发有读和执行的权限，其他人只有读的权限。
2.在opt目录下创建bigdata目录，用于大数据框架的安装。所有者为大数据部门的王总，所属组为bigdata部门，王总有全部的权限，部门其他人有读写执行权限，其他人没有权限。
3.使用root用户在opt目录下创建mysql文件夹，用于安装mysql，赋予其他用户读的权限。
4.使用root用户在opt目录下创建redis文件夹，用于安装使用redis，赋予其他用户读和执行的权限。

第九节 搜索查找类命令

find 查找文件或者目录

  • 基本语法
    find指令将从指定目录向下递归地遍历其各个子目录，将满足条件的文件显示在终端。
find [搜索范围] [选项]
  • 选项说明
    选项功能
    -name<查询方式>按照指定的文件名查找模式查找文件
    -user<用户名>查找属于指定用户名所有文件
    -size<文件大小>按照指定的文件大小查找文件。
  • 实操案例
    • （1）按文件名：根据名称查找/目录下的filename.txt文件。
    [root@centos100 ~]# find xiyou/ -name “*.txt”
    • （2）按拥有者：查找/opt目录下，用户名称为-user的文件
    [root@centos100 ~]# find opt/ -user lzl
    • （3）按文件大小：在/home目录下查找大于200m的文件（+n 大于 -n小于 n等于）
    [root@centos100 ~]find /home -size +204800

grep 过滤查找及“|”管道符

  • 基本语法
    管道符，“|”，表示将前一个命令的处理结果输出传递给后面的命令处理
grep 选项 查找内容 源文件
  • 选项说明
    选项功能
    -n显示匹配及行号
  • 实操案例
    • （1）查找某文件在第几行
    [root@centos100 ~]# ls | grep -n test

第十节 压缩和解压缩命令

gzip/gunzip 压缩

  • 基本语法
    gzip 文件       （功能描述：压缩文件，只能将文件压缩为*.gz文件）
gunzip 文件.gz  （功能描述：解压缩文件命令）
  • 经验技巧
    （1）只能压缩文件,不能压缩目录
（2）不保留原来的文件
  • 实操案例
    • （1）gzip压缩
    [root@centos100 ~]# ls
houge.txt
[root@centos100 ~]# gzip houge.txt
[root@centos100 ~]# ls
houge.txt.gz
    • （2）gunzip解压缩文件
    [root@centos100 ~]# gunzip houge.txt.gz 
[root@centos100 ~]# ls
houge.txt

zip/unzip压缩

  • 基本语法
    zip [选项] XXX.zip 将要压缩的内容     （功能描述：压缩文件和目录的命令）
​unzip [选项] XXX.zip                （功能描述：解压缩文件）
  • 选项说明
    zip选项功能
    -r压缩目录
    unzip选项功能
    -------------------
    -d<目录>指定解压后文件的存放目录
  • 经验技巧
    zip 压缩命令在window/linux都通用，**可以压缩目录且保留源文件**。
  • 实操案例
    • （1）压缩文件 
    [root@centos100 opt]# touch bailongma.txt
[root@centos100 ~]# zip houma.zip houge.txt bailongma.txt 
 adding: houge.txt (stored 0%)
 adding: bailongma.txt (stored 0%)
[root@centos100 opt]# ls
houge.txt bailongma.txt  houma.zip
    • （2）解压文件
    [root@centos100 ~]# unzip houma.zip 
 Archive: houma.zip
 extracting: houge.txt        
 extracting: bailongma.txt    
[root@centos100 ~]# ls
houge.txt bailongma.txt  houma.zip
    • （3）解压到指定目录-d
    [root@centos100 ~]# unzip houma.zip -d /opt
[root@centos100 ~]# ls /opt/

tar打包

  • 基本语法

    tar [选项] XXX.tar.gz 将要打包进去的内容  （功能描述：打包目录，压缩后的文件格式.tar.gz）

  • 选项说明

    选项功能
    -z打包同时压缩
    -c产生.tar打包文件
    -v显示详细信息
    -f指定压缩后的文件名
    -x解包.tar文件

  • 实操案例

    • （1）压缩多个文件
    [root@centos100 opt]# tar -zcvf houma.tar.gz houge.txt bailongma.txt 
houge.txt
bailongma.txt
[root@centos100 opt]# ls
houma.tar.gz houge.txt bailongma.txt
    • （2）压缩目录
    [root@centos100 ~]# tar -zcvf xiyou.tar.gz xiyou/
xiyou/
xiyou/mingjie/
xiyou/qujing/
xiyou/qujing/houge.txt
    • （3）解压到当前目录
    [root@centos100 ~]# tar -zxvf houma.tar.gz
    • （4）解压到指定目录
    [root@centos100 ~]# tar -zxvf xiyou.tar.gz -C /opt
[root@centos100 ~]# ll /opt/

  • 实战演练

    使用提供的flume安装包tar.gz完成解压缩,放置到/opt/module目录下,之后在flume的根目录运行flume程序, 运行命令如下:
bin/flume-ng agent -c conf/ -n a1 -f job/test.conf
之后查找flume的日志文件flume.log

第十一节 磁盘分区类命令

df (disk free 空余硬盘)查看磁盘空间使用情况

  • 基本语法
     df 选项 （功能描述：列出文件系统的整体磁盘使用量，检查文件系统的磁盘空间占用情况）
  • 选项说明
    选项说明
    -h以人们较易阅读的 GBytes, MBytes, KBytes 等格式自行显示；
  • 实操案例
    • （1）查看磁盘使用情况
    [root@centos100 ~]# df -h
Filesystem   Size Used Avail Use% Mounted on
/dev/sda2    15G 3.5G  11G 26% /
tmpfs      939M 224K 939M  1% /dev/shm

fdisk 查看分区

  • 基本语法

     fdisk -l         （功能描述：查看磁盘分区详情）

  • 选项说明

    选项功能
    -l显示所有硬盘的分区列表

  • 经验技巧

    • 该命令必须在root用户下才能使用

  • 功能说明

    • （1）Linux分区
    Device：分区序列
​Boot：引导
​Start：从X磁柱开始
​End：到Y磁柱结束
​Blocks：容量
​Id：分区类型ID
​System：分区类型

    -   （2）windows分区
    ![](image/f1_DJ7eqlCV4z.png)

  • 实操案例

    • （1）查看系统分区情况
    [root@centos100 /]# fdisk -l
Disk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0005e654

  Device Boot   Start     End   Blocks  Id System
/dev/sda1  *      1     26   204800  83 Linux
Partition 1 does not end on cylinder boundary.
/dev/sda2       26    1332  10485760  83 Linux
/dev/sda3      1332    1593   2097152  82 Linux swap / Solaris

mount/umount 挂载/卸载

  • 什么是挂载卸载

    对于Linux用户来讲，不论有几个分区，分别分给哪一个目录使用，它总归就是一个根目录、一个独立且唯一的文件结构。
Linux中每个分区都是用来组成整个文件系统的一部分，它在用一种叫做“挂载”的处理方法，它整个文件系统中包含了一整套的文件和目录，并将一个分区和一个目录联系起来，要载入的那个分区将使它的存储空间在这个目录下获得。
    • (1)挂载前准备（必须要有光盘或者已经连接镜像文件）
      在这里插入图片描述

  • 基本语法

    mount [-t vfstype] [-o options] device dir （功能描述：挂载设备）
umount 设备文件名或挂载点         （功能描述：卸载设备）

  • 参数说明

    参数功能
    -t vfstype指定文件系统的类型，通常不必指定。mount 会自动选择正确的类型。常用类型有： 1)光盘或光盘镜像：iso9660 2)DOS fat16文件系统：msdos 3) Windows 9x fat32文件系统：vfat 4) Windows NT ntfs文件系统：ntfs 5)Mount Windows文件网络共享：smbfs 6) UNIX (LINUX) 文件网络共享：nfs
    -o options主要用来描述设备或档案的挂接方式。常用的参数有： loop：用来把一个文件当成硬盘分区挂接上系统 ro：采用只读方式挂接设备 rw：采用读写方式挂接设备 　 iocharset：指定访问文件系统所用字符集
    device要挂接(mount)的设备
    dir设备在系统上的挂接点(mount point)

  • 实操案例

    • （1）挂载光盘镜像文件
    [root@centos100 ~]# mkdir /mnt/cdrom/          (建立挂载点)
[root@centos100 ~]# mount -t iso9660 /dev/cdrom /mnt/cdrom/  (设备/dev/cdrom挂载到/mnt/cdrom中)
[root@centos100 ~]# ll /mnt/cdrom/
    • （2）卸载光盘镜像文件
    [root@centos100 ~]# umount /mnt/cdrom
    • （3）设置开机自动挂载
    [root@centos100 ~]# vi /etc/fstab

    添加红框中内容，保存退出

    在这里插入图片描述

第十二节 进程线程类命令

进程是正在执行的一个程序或命令，每一个进程都是一个运行的实体，都有自己的地址空间，并占用一定的系统资源。

ps (process status 进程状态)查看当前系统进程状态

  • 基本语法

    ps -aux | grep xxx     （功能描述：查看系统中所有进程）
​ps -ef  | grep xxx     （功能描述：可以查看子父进程之间的关系）

  • 选项说明

    选项功能
    -a选择所有进程
    -u显示所有用户的所有进程
    -x显示没有终端的进程

  • 功能说明

    • （1）ps -aux显示信息说明
    USER：该进程是由哪个用户产生的
PID：进程的ID号
​%CPU：该进程占用CPU资源的百分比，占用越高，进程越耗费资源；
​%MEM：该进程占用物理内存的百分比，占用越高，进程越耗费资源；
​VSZ：该进程占用虚拟内存的大小，单位KB；
​RSS：该进程占用实际物理内存的大小，单位KB；
​TTY：该进程是在哪个终端中运行的。其中tty1-tty7代表本地控制台终端，tty1-tty6是本地的字符界面终端，    tty7是图形终端。pts/0-255代表虚拟终端。
​STAT：进程状态。常见的状态有：R：运行、S：睡眠、T：停止状态、s：包含子进程、+：位于后台
​START：该进程的启动时间
​TIME：该进程占用CPU的运算时间，注意不是系统时间
​COMMAND：产生此进程的命令名
    • （2）ps -ef显示信息说明
    UID：用户ID 
​PID：进程ID 
​PPID：父进程ID 
​C：CPU用于计算执行优先级的因子。数值越大，表明进程是CPU密集型运算，执行优先级会降低；数值越小，表明进程是I/O密集型运算，执行优先级会提高 
​STIME：进程启动的时间 
​TTY：完整的终端名称 
​TIME：CPU时间 
​CMD：启动进程所用的命令和参数

  • 经验技巧

    如果想查看进程的**CPU**占用率和内存占用率，可以使用aux;
​如果想查看**进程的父进程ID**可以使用ef;

  • 实操案例

    [root@centos100 datas]# ps -aux

    在这里插入图片描述

    [root@centos100 datas]# ps -ef

    在这里插入图片描述

kill终止进程

  • 基本语法
     kill [选项] 进程号 （功能描述：通过进程号杀死进程）
​ killall 进程名称   （功能描述：通过进程名称杀死进程，也支持通配符）
  • 选项说明
    选项功能
    -9表示强迫进程立即停止
  • 实操案例
    • （1）杀死浏览器进程
    [root@centos100 桌面]# kill -9 5102
    • （2）通过进程名称杀死进程
    [root@centos100 桌面]# killall firefox

第十三节 系统定时任务命令

crond服务管理

  • 重新启动crond服务
    [root@centos100 ~]# systemctl restart crond

crontab 定时任务设置

  • 基本语法
    crontab [选项]
  • 选项说明
    选项功能
    -e编辑crontab定时任务
    -l查询crontab任务
    -f删除当前用户所有的crontab任务
  • 参数说明
    • （1）进入crontab编辑界面。会打开vim编辑你的工作,通过 "* " 定义任务周期。
      [root@centos100 ~]# crontab -e
      项目选项范围
      第一个“ *”一小时当中的第几分钟0-59
      第二个“ *”一天当中的第几小时0-23
      第三个“ *”一个月当中的第几天1-31
      第四个“ *”一年当中的第几月1-12
      第五个“ *”一周当中的星期几0-7（0和7都代表星期日）
    • （2）每个星号上可以使用的特殊符号
      特殊符号含义
      *代表任何时间。比如第一个“ *”就代表一小时中每分钟都执行一次的意思。
      ,代表不连续的时间。比如“0 8,12,16 * * * 命令”，就代表在每天的8点0分，12点0分，16点0分都执行一次命令
      -代表连续的时间范围。比如“0 5 * * 1-6命令”，代表在周一到周六的凌晨5点0分执行命令
      */n代表每隔多久执行一次。比如“ */10 命令”，代表每隔10分钟就执行一遍命令
    • （3）特定时间执行命令
      时间含义
      45 22 * * * 命令在22点45分执行命令
      0 17 * * 1 命令每周1 的17点0分执行命令
      0 5 1,15 * * 命令每月1号和15号的凌晨5点0分执行命令
      40 4 * * 1-5 命令每周一到周五的凌晨4点40分执行命令
      */10 4 * * * 命令每天的凌晨4点，每隔10分钟执行一次命令
      0 0 1,15 * 1 命令(错误案例)每月1号和15号，每周1的0点0分都会执行命令。
      注意：星期几和几号最好不要同时出现，因为他们定义的都是天。非常容易让管理员混乱。
  • 实参案例
    • （1）每隔1分钟，向/root/bailongma.txt文件中添加一一些内容
    */1 * * * * /bin/echo ”11” >> /root/bailongma.txt
    感谢您阅读完这篇文章，如果您觉得有所收获，别忘了关注我的公众号[大数据深度洞察]，更多精彩内容等您来探索！”
    “希望本文能对您有所帮助，如果您还想获取更多类似的优质内容，欢迎关注我的公众号[大数据深度洞察]，让我们一起在技术的海洋中遨游！”
    “如果您喜欢这篇文章的内容，期待在公众号[大数据深度洞察]中与您有更多的交流，那里有更多深度的技术文章和实用的技巧等着您！
    在这里插入图片描述
大数据深度洞察
关注
  • 12
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
全栈之路-前端篇 | 第三讲.基础前置知识【前端标准与研发工具】学习笔记
WeiyiGeek 唯一极客IT知识分享
02-18 2077
万维网联盟（外语缩写：W3C）创建于1994年，是Web技术领域最具权威和影响力的国际中立性技术标准机构, W3C标准定义了一个用于应用程序开发的开放式Web平台，该平台具有前所未有的潜力，使开发人员能够构建丰富的交互体验，由任何设备上都可以使用的海量数据存储提供支持，W3C制定这些技术规范和指南的过程旨在最大限度地达成对技术报告内容的共识，确保高技术和编辑质量，并获得W3C和更广泛社区的认可。官网地址: https://www.w3.org/standards/
大数据课程00——[基础篇]大数据学习入门
u013955758的专栏
07-09 534
大数据地学习方向（hadoop, zookeeper, hive, flume && sqoop, azkaban && oozie, 数仓建模理论+实践, hbase, redis, kafka, elk, scala, spark, kylin, flink, 实时数仓项目）、大数据就业方向(数仓工程师、数据开发工程师、ETL工程师、数据分析工程师)
机器学习大数据学习路线总结
u013452337的博客
06-29 702
机器学习大数据学习路线总结 八月 18, 2019 -机器学习&大数据 前言 好久好久好久没有更新过博客的内容了，这次把前一段时间给浪潮俱乐部的新成员总结的机器学习和大数据学习路线总结放上来水一篇博客，不管怎么说也算是给其他人一个参考吧。如果你觉得这篇文档的内容有失偏颇，请联系BB酱进行修改。 写在前面 欢迎大家来到西电浪潮俱乐部，相信对于你们中的大多数同学来说，来到俱乐部是因为被人工智能，大数据的名头所吸引，想要学习相关技术，并且在未来能够有机会从事这些领域的研究或工作。那么，希望BB.
问我大数据怎么入门，我总结了亲身体验的学习路线推荐给她【推荐收藏】_狂神大数据
2401_84159813的博客
04-18 703
大数据开发有三种语言可选，Java，Python和Scala，Scala后期是必学的，Java在开发中好比是屠龙刀，而Python是随身匕首，适合写写脚本，所以强烈推荐先学Java，这里推荐黑马的Java基础课程视频，Hadoop学习，黑马和尚硅谷两家机构都不错，我这里由于自学的时候主要学了黑马的，便贴出黑马的链接。同样是搞大数据开发必学的语言，原因是Spark是基础scala开发的。这些组件都是工作中不经常用的，建议只花少量的时间学习，快速入门即可。机器学习的书籍：稍后为各位整理出来，在我的。
Apache DolphinScheduler——开源大数据调度器神器
LXWalaz1s1s的博客
06-11 8903
手把手教您玩转开源大数据调度器Apache DolphinScheduler安装维护与实践，学不会你来打我。
问我大数据怎么入门，我总结了亲身体验的学习路线推荐给她【推荐收藏】
Maynor的博客
07-21 5066
前两天有学妹私信我说,她已经上完大一,大数据专业的,只学过大数据导论,问我大数据该如何入门?我不禁感慨普通高校擅长培养算法人才,但在工程人才的培养上存在很多的问题。
高性能Linux服务器运维实战(系统基础运维)
m0_51655360的博客
02-24 4818
4.2.1CPU性能调优工具 1、vmstat 2、uptime 3、mpstat 4.2.2内存性能调优工具 1、free Used+free+buff/cache=total buffer/cache-shared-buffer内存损耗=available(20%-70%) 2、smem RSS,PSS,USS yum install epel-release yum install smem python-matplotlib python-tk 4.2.3磁盘性能调优工具 1、iotop yum -
Linux实战 小技巧 Linux软件安装部署 瑞吉外卖部署Linux
我亦无他，唯手熟尔
08-05 658
零基础快速入门Linux操作系统系列课程，服务零基础学员为设计基石。课程在基础的Linux系统知识之外，规划了《全方向》涉及到的Linux所需软件服务的部署实战，无论从事Java后端、大数据开发、测试、运维等方向，均可从中受益。 课程以Shell脚本、Python脚本自动化为基点，设计了大规模大数据集群部署、运维、监控、自动化项目实战，一站式收获知识和经验。并且课程结合了当下最新的云平台技术，为大家带来了Linux操作系统云上实践环节。
新手推荐学习哪个编程语言呢？
weixin_51689029的博客
11-25 529
学前导读：从传统关系型数据库入手，掌握数据迁移工具、BI数据可视化工具、SQL，对后续学习打下坚实基础。1.大数据数据开发基础MySQL8.0从入门到精通MySQL是整个IT基础课程，SQL贯穿整个IT人生，俗话说，SQL写的好，工作随便找。本课程从零到高阶全面讲解MySQL8.0，学习本课程之后可以具备基本开发所需的SQL水平。2022最新MySQL知识精讲+mysql实战案例_零基础mysql数据库入门到高级全套教程第二阶段 大数据核心基础。
3、前置知识pdf资料
10-15
在IT行业中，尤其是在JavaEE应用开发中，前置知识是构建高效、可维护的软件系统的基础。本文将深入探讨JavaEE分层模型以及Servlet的相关概念，这些都是进行Web开发时不可或缺的知识点。 首先，让我们来理解JavaEE...
《1. 机器学习前置知识》配套数据集
04-08
《1. 机器学习前置知识》配套数据集，数据集目录： 1. IMDB-Movie-Data.csv 2. Sarcasm_Headlines_Dataset.json 3. starbucks_directory.csv 4. stock_day.csv 5. UBER.csv 6. UBER.h5
大数据精通组件——Atlas元数据管理部署等
08-09
【大数据精通组件——Atlas元数据管理部署】 Atlas是Apache Hadoop生态系统中的一个关键组件，专门用于元数据管理和治理。它提供了全面的数据发现、分类、标签和安全策略实施功能，是大数据环境中数据治理的重要...
Linux split命令用法详解
01-09
Linux split命令 Linux split命令用于将一个文件分割成数个。 该指令将大文件分割成较小的文件，在默认情况下将按照每1000行切割成一个小文件。 语法split [--help][--version][-][-b ][-C ][-l ][要切割的文件]...
vue中的前置守卫——改变网页标题
01-08
前置守卫又名前置钩子，也是个回调函数 是在路由跳转前执行的函数 二、代码流程 注意：beforeEach方法一定要在导出路由实例前使用 三、beforeEach的参数含义 to:即将要进入的目标的路由对象 from:当前导航即将要...
elasticsearch教程
08-05 1193
1. IP案例:(1)创建索引时指定映射关系(2)查看索引的映射关系(3)创建测试数据(4)查看数据"query":{"match":{(5)删除数据2. date案例:(1)创建索引时指定映射关系(2)查看索引的映射关系(3)创建测试数据(4)查看数据(5)删除数据-3 综合案例(1)创建索引(2)查看索引信息(3)为已创建的索引修改数据类型"name": {},},},"city": {},"email": {},},(4)添加测试数据。
如何礼貌且高效地应对工作中的无关问题
一个7年大数据开发工程师的碎碎念
08-05 1089
通过这篇博客文章，你不仅学到了应对无关问题的策略，还获得了实用的代码示例，希望能为你的工作带来帮助。礼貌且高效地应对无关问题，不仅仅是简单的回应或拒绝，更重要的是培养一种积极的工作态度和解决问题的能力。在繁忙的工作环境中，设定清晰的边界是非常重要的。今天，我将分享一些有效的策略和具体的代码示例，帮助你礼貌且高效地应对这些无关问题，让你在忙碌的工作中依然能够保持高效。然而，总有一些同事或朋友会提出一些与工作无关的问题，这些问题不仅会分散我们的注意力，还可能影响我们的工作效率。在工作中，团队合作是非常重要的。
【大数据】探索大数据基础知识：定义、特征与生态系统
在路上的专栏
08-05 715
大数据技术在过去十年间飞速发展，已经成为驱动现代商业、科学研究和社会进步的重要力量。本篇文章将深入探讨大数据的基本概念，详细解析其定义与特征，包括数据的体量、速度、多样性和真实性。我们将介绍大数据的生态系统，涵盖核心组件如Hadoop、Spark、NoSQL数据库等，并解析其在存储、处理和分析海量数据中的应用。通过对大数据技术的全面剖析，读者将获得对这一领域的深刻理解，为进一步探索和应用大数据技术奠定坚实基础。
ANN（Approximate Nearest Neighbor）搜索和索引库到底是什么？
最新发布
叶庭云 成为自己的光
08-06 876
ANN（Approximate Nearest Neighbor）搜索和索引库到底是什么？
大数据学习需要的前置语言
03-27
1. 数学基础：包括高等数学、线性代数、概率论与数理统计等。 2. 编程语言：至少掌握一种编程语言，如Python、Java、R等。 3. 数据库：了解数据库的基础知识，如SQL语言等。 4. 统计学：掌握基本的统计学观念和方法，如假设检验、方差分析等。 5. 机器学习：了解机器学习的基本概念和算法，如决策树、支持向量机等。 6. 数据结构与算法：了解基本的数据结构和算法，如栈、队列、排序算法等。 7. 数据可视化：掌握数据可视化的基本方法和工具，如Matplotlib、D3.js等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值