大数据——Linux入门和基本常用命令

最新推荐文章于 2024-04-16 19:12:50 发布
最新推荐文章于 2024-04-16 19:12:50 发布
阅读量644 收藏 1
点赞数 2
文章标签： linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsjia2970727/article/details/108258744
版权

Linux入门和基本常用命令

操作系统

什么是操作系统

计算机是一台机器，它按照用户的要求接收信息、存储数据、处理数据，然后再将处理结果输出（文字、图片、音频、视频等）。计算机由硬件和软件组成：

硬件是计算机赖以工作的实体，包括显示器、键盘、鼠标、硬盘、CPU、主板等；
软件会按照用户的要求协调整台计算机的工作，比如 Windows、Linux、Mac OS、Android 等操作系统，以及 Office、QQ、迅雷、微信等应用程序。

操作系统（Operating System，OS）是软件的一部分，它是硬件基础上的第一层软件，是硬件和其它软件沟通的桥梁（或者说接口、中间人、中介等）。
操作系统会控制其他程序运行，管理系统资源，提供最基本的计算功能，如管理及配置内存、决定系统资源供需的优先次序等，同时还提供一些基本的服务程序。
目前流行的服务器和 PC 端操作系统有 Linux、Windows、UNIX 等，手机操作系统有 Android、iOS、Windows Phone（简称 WP），嵌入式操作系统有 Windows CE、PalmOS、eCos、uClinux 等。

操作系统分类

应用领域所支持的用户数源码开放程度
桌面操作系统多用户操作系统闭源操作系统
服务器操作系统单用户操作系统开源操作系统
嵌入式操作系统

企业级应用操作系统

企业级应用操作系统和普通个人操作系统的区别：

企业级应用操作系统个人操作系统
受众群体企业个人
硬件配置要求高第
安全性要求高低
运行程序企业项目个人办公、娱乐软件
常用的企业级应用操作系统：
Windows Server
Unix
Linux

Linux操作系统

Linux操作系统简介

诞生日期：1991年
开发者：林纳斯·托娃茨
Linux特点：免费，开源
Linux常用发行版本：
redhat（小红帽）
debian
ubuntu
Centos

Linux操作系统安装方式

整机安装
双系统并存安装
虚拟机安装

虚拟机简介

通过软件模拟硬件功能
主流虚拟机：
VMware Workstations简称Vmware
虚拟机下载地址：https://www.vmware.com/cn.html

虚拟机安装步骤

1、下载VMware
2、安装VMware
3、新建Linux虚拟机
4、选择centos镜像
5、选择虚拟机配置
6、虚拟机安装完毕
详情请见：https://blog.csdn.net/dsjia2970727/article/details/107930066

Linux文件系统

软件、硬件、文档都属于文件
常用目录：

目录名称说明
/Linux系统的根目录
/bin系统启动时需要的执行文件（二进制）
/dev设备文件目录
/etc操作系统的配置文件目录（防火墙、启动项）
/home用户信息存放的目录，用户的默认工作目录
/usr程序和数据存放目录
/var包含在正常操作中被改变的文件：假脱机文件、记录文件、加锁文件、临时文件和页格式化文件
/mnt多系统目录
/opt应用目录，自己安装的
/proc文档
/rootroot根用户目录
/run运行文件
/tmp临时日志文件
/boot启动Linux的核心文件
/sys系统启动以后此目录作为 sysfs 文件系统的挂载点

Linux操作系统结构

在这里插入图片描述

Linux命令

Linux目录操作命令

命令说明
pwd查看当前所在目录
cd打开目录
ls -a查看目录下文件
ll以列的方式显示目录下的文件列表
mkdir创建文件目录
rm -rf删除文件或目录
rm ri删除文件前询问用户
cp复制文件
mv移动文件或修改文件名

Linux文件操作命令

head：从文件开始显示文件内容
head -n：显示制动文件开始的n行数据

tail：从文件结尾显示文件内容
tail -f：动态加载某个文件的内容
tail -n：查看某个文件结尾n行的内容

Linux文件编辑命令vi

vi：一款功能强大的全屏幕文本编辑器

vi命令：
打开文件：vi [文件名]
进入编辑模式：i或a
退出编辑模式：按下ESC键
进入命令模式：:
保存并退出：:wq或:x
退出但不保存：:q
保存：:w

Linux用户/用户组

用户是指操作系统的实际操作者
用户组是具有相同特征的用户的集合体
UID：用户唯一标识
GID：用户分组唯一标识
root用户：Linux系统权限最高的用户

Linux权限操作命令

su [用户名]：切换到指定用户
whoami：查看当前登录用户
groups：查看当前用户所属分组
id：查看当前用户的UID和GID
useradd [用户名]：添加用户
useradd -u [UID] 用户名：添加用户并指定UID
passwd [用户名]：修改用户密码
userdel [用户名]：删除用户
usermod -l [新用户名] [旧用户名]：修改用户登录名
usermod -g [新组名称] [用户名]：修改用户所属分组
groupadd [组名]：添加分组
groupadd -g [组GID] [组名]：添加分组并指定GID

Linux赋权

文件权限：读（r）、写（w）、执行（x）

查看/usr/目录下文件的用户权限：
在这里插入图片描述

drwxr-xr-x. 2 root root 6 Apr 11 2018 etc

d：etc是目录不是文件
rwx：拥有者具有读、写、执行的权限
r-x：同组用户具有读、执行的权限没有写权限
r-x：其他组用户具有读、执行的权限没有写的权限
首位标记文件类型：d是目录，-是文件，l是软连接
后9位切割成3个部分：分别代表用户自身(u)，用户所在组成员(g)，和其他组的成员(o)所具有的权限

在这里插入图片描述

权限模式

u，g，o：拥有者，同组用户，其他组用户
+，-：赋予，收回权限
r，w，x：读，写，执行权限
例如：chmod u+r,g+w,o+x 文件或目录

数字模式

使用三位二进制数表示权限操作。

r=4，w=2，x=1
rwx=7 rw-=6 rx=5 r–=4 -wx=3 -w-=2 --x=1

例如开启所有权限：chmod 777 文件或目录

改变文件或者文件夹的归属chown

chown 用户名 文件名
chown 用户名:组名 文件名 把文件的归属用户改成对应的“用户名”，归属组改成对应的“组名”

蜂蜜柚子加苦茶
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Linux学习（五）管理用户和用户组】万字长文
Moluuu的博客
01-05 1028
管理账号和用户组 在之前多篇文章中，我们反复的提到过普通用户和 root用户的一些区别。也多多少少涉及了多用户和用户组的概念 如果你是初学者，不出意外你一直使用的应该都是 root用户（俺也一样）；那前面说到的普通用户可能会存在的问题，你应该大部分都不会碰到。 但仅限于在你自己的电脑中，以后工作的话你就不一定能拿到 root用户了。 root用户作为管理员账户 拥有系统的最高权限，工作中自然是不会人手一个，那就失去了意义 而且不安全 … 管理员的工作中相当重要的一环就是管理账户，普通用户的创建都需要经过管理
linux创建组并指定gid的命令,在Linux中用groupadd命令创建组：创建具有特定GID的组及系统组...
weixin_33289873的博客
04-30 5107
在本文中，我们将讨论如何使用groupadd命令在Linux操作系统中创建新组。在Linux中，组用于组织和管理用户帐户，组的主要目的是为一组可以在组内用户之间共享的给定资源定义一组特权，例如读取、写入或执行权限。groupadd命令语法groupadd命令的一般语法如下：groupadd [OPTIONS] GROUPNAME只有root或具有sudo特权的用户才能创建新组。调用时，groupa...
linux下创建指定用户并指定 gid uid
热门推荐
小兵的博客
10-16 2万+
1.创建指定所属组 并指定gid groupadd dev -g 1005 #创建dev的所属组 并制定gid 1005 2.创建指定用户 并指定 uid useradd test -u 1003 -g 1005 # 创建test用户 并指定uid 1003 分配为dev 1005属组 3.将test用户绑定dev组的 某一个文件 chown -R test:dev + 文件名 ...
linux 用户、群组及权限操作
Ayhan_huang的博客
05-24 1万+
在linux中，一切皆文件，当我们创建一个用户时，其实是创建了以下文件： /etc/passwd 用户配置信息 /etc/shadow 用户密码 /etc/group 组信息 /etc/gshadow 组密码 /home 家目录 /var/spool/email/ 用户邮箱 /opt/passwd 用户配置信息 以：为分隔符，包含7个信息，分别是 用户名： 密码占位符：x
剑指大数据——Flink学习精要（Java版）
06-20
剑指大数据——Flink学习精要（Java版）
剑指大数据——Flink学习精要_java版
04-21
剑指大数据——Flink学习精要_java版
感悟大数据——从数据管理和分析说起
01-20
大数据依然很热，对其解读也越发众说纷纭。结合笔者长期以来的研发经历和深层思考，讨论了对“大数据”本身、“大数据”国家战略、“互联网+”行动计划的理解。在大数据语境下重提数据库理念，说明这对于理解数据管理的发展趋势、把握技术发展的机遇有着重要的意义。此外，从一个资深的IT学者和实践者的角度，讨论近10年来IT发展范型的变化，介绍了近5年来笔者领导研发的3个数据管理系统，提出了分享型数据的概念，作为区块链背后的基本思想的抽象。
大数据运维方向面试题(1).pdf
12-24
⼤数据运维⽅向⾯试题 ⼤数据运维⽅向⾯试题 ⼀、基础题 1.请写出http和https请求的区别，并写出遇到过的响应状态码. ⼀、https协议需要到ca申请证书，⼀般免费证书很少，需要交费。 ⼆、http是超⽂本传输协议，信息是明⽂传输，https 则是具有安全性的ssl加密传输协议。 三、http和https使⽤的是完全不同的连接⽅式，⽤ 的端⼝也不⼀样，前者是80，后者是443。 四、http的连接很简单，是⽆状态的；HTTPS协议是由SSL+HTTP协议构建的可进⾏加密传输、⾝份认证的⽹络协议，⽐http协议安全。 状态码常⽤： 301 永久重定向 403 服务器已经理解请求，但是拒绝执⾏ 404 页⾯丢失 500 服务器错误 2.请写出在linux系统上⾯搭建系统或者产品等⼤数据平台需要对系统进⾏哪些检查。 从稳定性说：需要检查集群中的每⼀台服务器的命令安装是否完善，环境变量是否配置完毕，每⼀台服务器的软件配置是否有问题。 扩展性: 能够快速扩展机器，横向扩展条件是否具备 3.请写出使⽤过的linux系统有哪些版本，如何查看系统信息？（发⾏版本，内核版本等信息）。 Centos 6.5 6.6 x64 1.查看发⾏版本命令：cat /etc/issue 2.查看内核版本： cat /proc/version 4.请使⽤命令在linux系统中创建⽤户test，⽤户组为test1，⽤户⽬录 /test , 并赋予sudo权限。 useradd -d /test -m test -g test1 -G root useradd 选项 ⽤户名 其中各选项含义如下： -c comment 指定⼀段注释性描述。 -d ⽬录 指定⽤户主⽬录，如果此⽬录不存在，则同时使⽤-m选项，可以创建主⽬录。 -g ⽤户组 指定⽤户所属的⽤户组。 -G ⽤户组，⽤户组 指定⽤户所属的附加组。 -s Shell⽂件 指定⽤户的登录Shell。 -u ⽤户号 指定⽤户的⽤户号，如果同时有-o选项，则可以重复使⽤其他⽤户的标识号。 Sudo可以修改⽂件需要root⽤户 sudo的⼯作过程如下： 1，当⽤户执⾏sudo时，系统会主动寻找/etc/sudoers⽂件，判断该⽤户是否有执⾏sudo的权限 2，确认⽤户具有可执⾏sudo的权限后，让⽤户输⼊⽤户⾃⼰的密码确认 3，若密码输⼊成功，则开始执⾏sudo后续的命令 4，root执⾏sudo时不需要输⼊密码(eudoers⽂件中有配置root ALL=(ALL) ALL这样⼀条规则) 5，若欲切换的⾝份与执⾏者的⾝份相同，也不需要输⼊密码 5.写出最少3个监控系统指标的命令（如内存，CPU ，IO，磁盘等）。 看内存 ：free 看cpu：more /proc/cpuinfo 看IO：iostat -x 10 看磁盘：fdisk -l 6.请⽤多种⽅式在linux系统中设置环境变量，并指出各种⽅式的区别。 1、控制台中设置，不赞成这种⽅式，因为他只对当前的shell 起作⽤，换⼀个shell设置就⽆效了： $PATH="$PATH":/NEW_PATH (关闭 shell Path会还原为原来的path) 2、修改 /etc/profile ⽂件，如果你的计算机仅仅作为开发使⽤时推存使⽤这种⽅法，因为所有⽤户的shell都有权使⽤这个环境变量，可能会 给系统带来安全性问题。这⾥是针对所有的⽤户的，所有的shell 在/etc/profile的最下⾯添加： export PATH="$PATH:/NEW_PATH" 3、修改bashrc⽂件，这种⽅法更为安全，它可以把使⽤这些环境变量的权限控制到⽤户级别，这⾥是针对某⼀特定的⽤户，如果你需要给 某个⽤户权限使⽤这些环境变量，你只需要修改其个⼈⽤户主⽬录下的 .bashrc⽂件就可以了。 在下⾯添加： Export PATH="$PATH:/NEW_PATH" 7.请在linux系统中添加指定的定时任务。（每⽉1,15⽇，1,10点运⾏ /run.sh）. * 1 ,10 1,15 * * sh /run.sh 8.编写个shell脚本将/data⽬录下⼤于100k的⽂件转移到 /tmp ⽬录下。 #! /bin/sh directory=/data/* filesize=0 for file in $directory do filesize=$(wc -c < $(basename $file)) if [ $filesize -gt 100*1024 ] then mv $(basename $file) /tmp fi done 9.请使⽤命令写出在linux系统中对于⽂件01.txt ，查找⾏内容包含"java"关键字，但不包含"bug"关键字的
ubuntu创建用户+新用户添加到组
xiuxiuzhuanshu的博客
05-26 2926
1、添加一个用户 添加一个test的用户 sudo adduser testuser 修改密码 回车后出现一下提示 输入密码即可 sudo passwd testuser 2、ssh远程时，出现只有$的情况 原因：查看/etc/passwd文件后发现，新建的用户未指定shell。我们只需将其指定为/bin/bash即可。 解决方法：切换至root用户，使用usermod命令修改shell类型 sudo usermod -s /bin/bash testuser 3. 新用户下...
第三周作业
studywinwin的博客
12-10 325
第二周作业 显示/etc目录下，以非字母开头，后面跟了一个字母以及其它任意长度任意字符的文件或目录 [root@Centos7 ~]# touch /etc/3abc [root@Centos7 ~]# mkdir /etc/2db8 [root@Centos7 ~]# ls /etc/[^[:alpha:]][[:alpha:]]* /etc/3abc /etc/2db8: 复制/etc目...
为用户添加群组
hhh_yang的专栏
07-21 993
[root@yang-centos ~]# groupadd yang_home     //添加一个新的群组 [root@yang-centos ~]# groups yang    //查看已有用户所属群组 yang : yang [root@yang-centos ~]# cat /etc/group  //查看group配置文件的部分信息 root:x:0: ya
剑指大数据——Flink学习精要（Java版)最终修订版
06-18
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf 《剑指大数据——Flink学习精要（Java版）》（最终修订版）.docx 《大数据技术之Flink(Java版)》.doc
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf
03-25
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf
Linux新用户创建
Ronaldo_Kaka的博客
12-02 828
一、root用户登录 二、创建用户： useradd -d /home/username username 三、设置密码： passwd username 四、报错:useradd:cannot open /ect/passwd，执行以下操作去除i权限位 chattr -i /etc/passwd chattr -i /etc/shadow chattr -i /etc/group chattr...
linux下创建用户
shupan001的专栏
03-01 6170
<br />[root@b etc]#useradd -d /home/jc -m jc<br /> [root@b etc]# passwd jc<br /> [root@b etc]#chown jc -R /home/jc<br /> [root@b etc]#su － jc 就ok拉<br /><br /><br /> linux下创建用户(一）<br /> linux下创建用户(一）<br /> 2008-04-02 18:06<br /> Linux 系统是一个多用户多任务的分
Linux指定用户drew为该组的管理员,Linux用户和组管理命令(示例代码)
weixin_36372623的博客
04-28 996
一、用户管理命令useradduseradd命令用于Linux中创建的新的系统用户。useradd可用来建立用户帐号。帐号建好之后，再用passwd设定帐号的密码．而可用userdel删除帐号。使用useradd指令所建立的帐号，实际上是保存在/etc/passwd文本文件中。在Slackware中，adduser指令是个script程序，利用交谈的方式取得输入的用户帐号资料，然后再交由真正建立帐...
Linux 用户管理、添加UID的用户、添加用户到组
小伟的博客
10-24 4950
目录前言一、Linux系统用户账号的管理1、添加新的用户2、删除帐号3、修改帐号4、创建指定GID的组5、添加指定指定UDI的用户6、指定用户ID、指定用户所属组、指定用户登录时的启动目录 前言 Linux系统是一个多用户多任务的分时操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。 用户的账号一方面可以帮助系统管理员对使用系统的用户进行跟踪，并控制他们对系统资源的访问；另一方面也可以帮助用户组织文件，并为用户提供安全性保护。 每个用户账号都拥有一个唯
Linux中进程和计划任务
最新发布
weixin_56770318的博客
04-16 1207
（2）抢占式多任务：Linux内核，CPU的总控制权在操作系统手中，操作系统会轮流询问每一个任务是否需要使用 CPU ，需要使用的话就让它用，不过在一定时间后，操作系统会剥夺当前任务的 CPU 使用权，把它排在询问队列的最后，再去询问下一个任务。但是如果该进程的**父进程已经结束，那该进程就不会变成僵尸进程，**因为每个进程结束的时候，系统会扫描所有运行中的进程，看看有没有哪个进程是刚结束的进程的子进程，如果有就由Init来接管他，成为他的父进程。在满足请求时进入就绪状态等待系统调用。
剑指大数据——flink学习精要 pdf 下载
12-22
《剑指大数据——flink学习精要》是一本深入介绍Apache Flink大数据处理框架的书籍，对想要学习或深入了解Flink的人来说是一本很好的参考资料。这本书系统地介绍了Flink的核心概念、原理和应用，并通过丰富的实例和案例帮助读者更好地掌握Flink的使用方法和技巧。 如果你想要下载《剑指大数据——flink学习精要》这本书的PDF版本，你可以通过如下步骤进行： 1. 打开你的网络浏览器，输入“剑指大数据——flink学习精要 PDF下载”并进行搜索。 2. 在搜索结果中，你会找到一些提供该书下载链接的网站或平台，比如一些在线文档分享网站或电子书下载站点。 3. 点击进入这些网站或平台，并按照其提示或搜索框中输入书名，找到对应的下载页面。 4. 确认你要下载的是《剑指大数据——flink学习精要》的PDF版本，然后点击下载链接或按钮。 5. 大多数网站会要求你登录或注册账号后才能下载，所以在下载之前，可能需要先进行登录或注册操作。 6. 确认下载链接的安全性，避免下载到带有病毒或恶意软件的文档。 通过以上步骤，你就可以顺利下载到《剑指大数据——flink学习精要》的PDF版本了。希望这本书能够对你有所帮助，祝学习顺利！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值