python3常规操作

已于 2022-07-24 01:38:44 修改
阅读量337 收藏
点赞数
分类专栏： 编程语言 文章标签： linux 大数据 python
于 2021-04-22 00:29:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43010385/article/details/115987043
版权

文章目录

os模块

获取uid号：

import os
print (geteuid())

在这里插入图片描述
在这里插入图片描述

subprocess模块

python3执行shell命令:

import subprocess
subprocess.run("lsblk", shell=True)

在这里插入图片描述

python3输出如shell的echo信息：

例如：想输出如下信息，用py3怎么设置呢？

--------------- baseos rpms will be installed -------------------

import subprocess
subprocess.run("echo '---------------   baseos rpms will be installed   -------------------'", shell=True)

在这里插入图片描述

文件的操作：

遍历文件数据：

import os
def count_cpu():
    cpu = 0
    #打开文件，按行读取：
    for datas in open("/proc/cpuinfo").readlines():
         #如果行的数据是以"processor"开头的话：
         if datas.startswith("processor"):
         	cpu = cpu + 1
    return cpu
#调用函数，并print输出：
print (count_cpu())

函数的操作：

函数的return值赋值给变量：

import os
def count_cpu():
    cpu = 0
    #打开文件，按行读取：
    for datas in open("/proc/cpuinfo").readlines():
         #如果行的数据是以"processor"开头的话：
         if datas.startswith("processor"):
         	cpu = cpu + 1
    return cpu
#调用函数，并print输出：
#函数count_cpu的return后的数据返回给了变量result
result = count_cpu()
print(result)

函数的return值作为变量传给另一个函数：

def hanshu01():
   return "wo"

def hanshu02(obj):
   print(obj)

#将函数01的值返回给变量a
a = hanshu01()
#将a传给函数02
hanshu02(a)

数字的操作：

字符串转化数字，并执行除法操作：

>>> su = "100"
>>> nu = int(su) / 2 /2
>>> print(nu)
25.0
>>> print(type(nu))
<class 'float'>

数据处理：

列表数据转化为字符串;

list = [“a”,“b”,“c” ,“d”]
str1 = str(list)
print(str1)
结果为: [‘a’, ‘b’, ‘c’, ‘d’]
print(type(str1))
类型为；<class ‘str’>

python中join() 方法用于将序列中的元素以指定的字符连接生成一个新的字符串。

list = [“a”,“b”,“c” ,“d”]
“”.join(list)
结果为；‘abcd’
" ".join(list)
结果为：‘a b c d’
“-”.join(list)
结果为：‘a-b-c-d’

使用join将列表格式转化为字符串类型；

a = [‘Anolis OS release 8.4’]
print(“”.join(a))
结果为：Anolis OS release 8.4

使用split去掉release;

a = [‘Anolis OS release 8.4’]
print(“”.join(a).split(“release “))
结果为：['Anolis OS ', ‘8.4’]
但是类型又变成了list;
print(type(””.join(a).split("release ")))
<class ‘list’>

使用join重新变成string类型，拼接字符串;

a = [‘Anolis OS release 8.4’]
print(“”.join(“”.join(a).split(“release “)))
结果为: Anolis OS 8.4
print(type(””.join(“”.join(a).split("release "))))
<class ‘str’>

使用join与replace配合处理数据;

a = [‘Anolis OS release 8.4’]
print(“”.join(a).replace(“release “,””))
结果为: Anolis OS 8.4 #类型是str

“-”.join()用法：

a = [‘Anolis’,‘OS’,‘release’,‘8.4’]
print(“-”.join(a))
结果为: Anolis-OS-release-8.4 #是str类型
使用join将列表重新拼接，以，作为分隔点使用join前面的"-"来替换了，符号

数据处理-取出,字符串ID="centos"中的centos

str1 = ‘ID=“centos”’

1) 使用split()将字符串分割成列表：

print(str1.split(“”")) #以’'符号作为分隔条件
结果为: [‘ID=’, ‘centos’, ‘’] #列表

2) 获取列表中的centos

print(str1.split(“”")[1])
结果为: centos #无论是字符串，列表还是元组取索引后，数据变成了"字符串”类型

删除字符串CentOS Linux release 8.3.2011中的“release”

a = ‘CentOS Linux release 8.3.2011’

1) 使用split()各个字符串；

print(a.split("release "))
结果：['CentOS Linux ', ‘8.3.2011’] #变成了列表

2) 使"".join()重新拼接数据；

print(“”.join(a.split("release ")))
结果：CentOS Linux 8.3.2011 #数据类型变成string

模块import;

同级目录import;

若在程序test1.py中导入模块mod1, 则直接使用

在这里插入图片描述

import mod1
或
from mod1 import *

调用子目录下的模块;

结构如下；

-- src
    |-- mod1.py
    |-- lib
    |    |-- mod2.py
    |-- test1.py

这时看到test1.py和lib目录（即mod2.py的父级目录），如果想在程序test1.py中导入模块mod2.py ，可以在lib件夹中建立空文件__init__.py文件(也可以在该文件中自定义输出模块接口)，然后使用：

from lib.mod2 import *
#或
import lib.mod2

调用上级目录下的模块；

程序结构如下：

-- src
    |-- mod1.py
    |-- lib
    |    |-- mod2.py
    |-- sub
    |    |-- test2.py

这里想要实现test2.py调用mod1.py和mod2.py ，做法是我们先跳到src目录下面，直接可以调用mod1，然后在lib上当下建一个空文件__init__.py ，就可以像第二步调用子目录下的模块一样，通过import lib.mod2进行调用了。具体代码如下

import sys
sys.path.append("..")
import mod1
import lib.mod2

对文件数据的处理；

遍历文件数据，找到以xxx开头的数据，并进行处理

import os,sys
def get_os_version():
    distro = ""
    version_id = ""
    with open("/etc/os-release") as os_release:
 
        info = os_release.readlines()
               #文件数据所有行进行遍历
        for l in info:
               #当遍历的行，以ID=开头时，然后对该行进行处理；
            if l.startswith("ID="):
                distro = "".join(l.split("\"")).strip().split("=")[1]
                #处理完break退出for循环：
                break
        for l in info:
            if l.startswith("VERSION_ID="):
                version_id = "".join(l.split("\"")).strip().split("=")[1]
                break
    return distro, version_id

distro, version = get_os_version()

函数操作；

函数返回值true与false

def _install_pkg(pkgs):
    if distro in ["ubuntu", "debian"]:
        cmd = "apt update && apt install -y {}".format(pkgs)
    else:
        print("== Error: Unsupported distro. ==")
        return False
        
    if os.system(cmd):
        print("== Install packages failed: {} ==".format(pkgs))
        return False
    print("== Install package success. ==")
    return True

如果: 中间return返回False，那么最后的 return True就不会执行，即函数_install_pkg最终的返回值为False

函数的调用案例（一）

base_pkg_mapping = {
    "ubuntu": "wget zip unzip git l",
    "anolis": "wget zip unzip git gcc numactl"
}

def get_os_version():
    distro = ""
    version_id = ""
    with open("/etc/os-release") as os_release:
        info = os_release.readlines()
        for l in info:
            if l.startswith("ID="):
                distro = "".join(l.split("\"")).strip().split("=")[1]
                break
        for l in info:
            if l.startswith("VERSION_ID="):
                version_id = "".join(l.split("\"")).strip().split("=")[1]
                break
    return distro, version_id

def _install_pkg(pkgs):
    distro, version = get_os_version()
    if not pkgs:
        print("== No package will be installed. Skipped. ==")
        return True

    if distro in ["ubuntu", "debian"]:
        cmd = "apt update && apt install -y {}".format(pkgs)
    elif distro in ["centos", "openEuler"]:
        cmd = "yum install -y {}".format(pkgs)
    else:
        print("== Error: Unsupported distro. ==")
        return False

    if os.system(cmd):
        print("== Install packages failed: {} ==".format(pkgs))
        return False
    print("== Install package success. ==")
    return True


def install_base_pkg():
    distro, version = get_os_version()
    if not _install_pkg(base_pkg_mapping[distro]):
        print("== Install Base Packages failed ==")
        return False

    print("== Install Base Packages Done ==")
    return True

if __name__ == "__main__":
    # install base packages
    if not install_base_pkg():
        sys.exit(1)

案例：

多层递归变量网点站点，指定找到要的目标：

[root@centos8 ~]# cat web_crawler.py
import requests,re
import os

zidian = {}

'''
tar_mapping = {
    "flink": ["flink","bin-scala_2.12.tgz","https://mirrors.aliyun.com/apache/flink/"]
    "tomcat": ["apacha-tomcat","tar.gz","https://archive.apache.org/dist/tomcat/"]

        }

'''

def load_url_data(url):
    r = requests.get(url)
    raw_list = re.compile(r'<a.*?>(.*?)</a>').finditer(r.text.strip())
    for i in raw_list:
        x = i.group(1)
        #print(x)
        if x.endswith('/'):
            src_rpm = ''.join([url, x])
            #print(src_rpm)
            load_url_data(src_rpm)
        else:
            get_url = ''.join([url, x])
            #if "flink" in get_url and "scala_2.12.tgz" in get_url:
            #if "flink-kubernetes-operator-1.0.1-src.tgz" in get_url:
            #if "tar.gz" in get_url and "httpd" in get_url:
            #if "tar.bz2" in x and "httpd" in x:
            #if re.compile(r'flink-\d+(\.\d+){0,10}-bin-scala_2.12\.tgz').findall(x):
                #print("shuchu--->",re.compile(r'flink-\d+(\.\d+){0,10}-bin-scala_2.12\.tgz').findall(x))
                #print("url",url)
                #print("x",x)
            #if "apache-tomcat" in x and "tar.gz" in x:

            if re.findall("apache-tomcat-\d+\.\d+\.\d+\.tar\.gz$",x):
                #print(re.findall("apache-tomcat-\d+\.\d+\.\d+\.tar",x))
                print("爬到啦",get_url)
                #print("上一级",url)
                #print("tar源码", x)
                zidian[x] = get_url
                #print("")
def compare_nvr():
    set_key = ""
    set_key = list(zidian.keys())[0]
    #print("set_key:",set_key)
    set_key_nu = int(''.join(re.findall("\d+",set_key)))
    #print("set_key_nu:",set_key_nu)
    Max = int(set_key_nu)
    print("初始Max:",Max)
    for key in zidian:
       # print(key, ":", zidian[key])
       # print(type(key))
    #print(key,int(''.join(re.findall("\d+",key))))
        key_nu = int(''.join(re.findall("\d+",key)))
        print("key_nu:",key_nu)
        if Max < key_nu:
            print("Max < key_nu:",Max ,"<", key_nu,"将最新值重新设置为",Max ,"=",key_nu)
            Max = key_nu
            set_key = key
            print("重新设置为Max:", Max,zidian[set_key])
        else:
            continue
    print("max:",Max,"zidian:",set_key,zidian[set_key])


if __name__ == '__main__':
    src_rpm = ""
    url = 'https://archive.apache.org/dist/tomcat/'
# url="https://mirrors.aliyun.com/apache/httpd/"
    load_url_data(url)
    #print(zidian)
    compare_nvr()

多层递归变量网点站点，当找到第一个目录要停止：

[root@centos8 ~]# cat web_crawler02.py
import requests,re
import os

flag = False
def get_tarurl(name,url):
    global flag
    tname = name
    turl = url
    r = requests.get(turl)
    raw_list = re.compile(r'<a.*?>(.*?)</a>').finditer(r.text.strip())
    for i in raw_list:

        if flag == True:
            print("flag == True")
            break
        else:
            print("flag != True")

        x = i.group(1)
        if x.endswith('/'):
            split_url = ''.join([turl, x])
            get_tarurl(tname, split_url)
        else:
            split_url = ''.join([turl, x])
            if re.findall("apache-tomcat-\d+\.\d+\.\d+\.tar\.gz$",x):
                flag = True
                print("爬到啦",split_url)
                print("x:",x,"split_url:",split_url)
                return (x, split_url)


(a, b) = get_tarurl("tomcat", "https://archive.apache.org/dist/tomcat/tomcat-10/")
#这里a与b的值会取不到，由于函数调用函数，内层函数return的值，不能返回给外层函数，所以变量需要修改为全局


[root@centos8 ~]# cat web_crawler02.py
import requests,re
import os

flag = False
tar_nvr = ""
down_url = ""
def get_tarurl(name,url):
    global flag,x,split_url
    tname = name
    turl = url
    r = requests.get(turl)
    raw_list = re.compile(r'<a.*?>(.*?)</a>').finditer(r.text.strip())
    for i in raw_list:
        x = i.group(1)
        print("x",x)
        if x.endswith('/'):
            split_url = ''.join([turl, x])
            get_tarurl(tname, split_url)
        else:
            split_url = ''.join([turl, x])
            print("split_url:",split_url)
            if re.findall("apache-tomcat-\d+\.\d+\.\d+\.tar\.gz$",x):
                tar_nvr = x
                down_url = split_url
                flag = True
                print("爬到啦",split_url)
                print("x:",x,"split_url:",split_url)
                #return

        if flag == True:
            print("flag == True")
            return x,split_url
        else:
            print("flag != True")


(a, b) = get_tarurl("tomcat", "https://archive.apache.org/dist/tomcat/tomcat-10/")
print("a",a,"b",b)

在这里插入图片描述

自定义函数作为模块被import

[root@centos8 ~]# cat a.py  #主调脚本
from web_crawler02 import  get_tarurl
(a, b) = get_tarurl("tomcat", "https://archive.apache.org/dist/tomcat/tomcat-10/")
print("a",a,"b",b)


[root@centos8 ~]# cat web_crawler02.py #被调脚本
import requests,re
import os

flag = False
tar_nvr = ""
down_url = ""
def get_tarurl(name,url):
    global flag,x,split_url
    tname = name
    turl = url

在这里插入图片描述


''' Get the download path of automatic tar package  '''
def get_tarurl(name, url):
    global flag,split_point,split_url
    tname = name
    turl = url
    r = requests.get(turl)
    raw_list = re.compile(r'<a.*?>(.*?)</a>').finditer(r.text.strip())
    for i in raw_list:
        if flag == True:
            return split_point,split_url

        split_point = i.group(1)
        if split_point.endswith('/'):
            split_url = ''.join([turl, split_point])
            print("split_url",split_url)
            get_tarurl(tname, split_url)
        else:
            split_url = ''.join([turl, split_point])
            if filter_tardata(name): # and "8.5.69" in split_url:
                    flag = True
                #return

def filter_tardata(name):
    fname = name
    if fname in ['rocketmq']:
        if re.findall(''+fname+'-all-\d+\.\d+\.\d+\-source-release\.zip$',split_point):
            return True
    elif fname in ['spark']:
        if re.findall(''+fname+'-\d+\.\d+\.\d+\-bin-hadoop.*\.tgz$',split_point):
            return True
    elif fname in ['kafka']:
        if re.findall(''+fname+'_\d+\.\d+-\d+\.\d+\.\d+\.\d+\.tgz',split_point):
            return True
    elif fname in ['activemq','zookeeper']:
        if re.findall(''+fname+'-\d+\.\d+\.\d+-bin\.tar\.gz$',split_point):
             return True
    elif fname in ['flink']:
        if re.findall(r''+fname+'-\d+\.\d+\.\d+-bin-scala_.*\.tgz$',split_point):
            return True
    else:
        if re.findall(r''+fname+'-\d+\.\d+\.\d+\.tar\.gz$',split_point):
            return True
    return False
520nobody
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
chatgpt赋能Python-python3_run
xuhss_com的博客
05-20 67
Python3 Run本质上是一种命令行工具，它可以让你在终端中运行Python代码并查看运行结果。与其他编程语言不同，Python3 Run不需要编译，你只需要编写Python代码，然后在终端中输入相应的命令即可运行。Python3 Run支持各种操作系统，包括Windows、MacOS和Linux等，也适用于各种工作环境，如Jupyter Notebook、PyCharm和VS Code等。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt。
python3 基础命令
weixin_30876945的博客
01-25 262
一、print print ("test") #直接打印内容 name = "zhangsan"age = 28 '''此为注释，可单引号，也可双引号,''' print (name) #打印变量内容print (type(name)) #打印变量的类型print (type(age))print (("hello ")+(name)+(" age i...
在Python中执行shell命令的6种方法，你都知道吗？_pythonshell怎么用
最新发布
m0_60607971的博客
05-13 1223
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
Python3操作mysql操作类
qy20115549的博客
10-08 7156
#下载mysql.connector 由于我的Anaconda装了2和3，所以我首先在cm中使用activate命令切换到python3环境下，然后使用 pip install mysql.connector #Mysql操作类 下面基于mysql.connector写了一个简单的mysql操作类： # -*- coding: utf-8 -*- import mysql.connector...
关于python3的基础操作
remakeprogramer的博客
06-27 837
关于python的基础操作 一、关于python的优缺点 优点： 简单 – Python 是一种代表简单主义思想的语言。阅读一个良好的 Python 程序就感觉像是在读英语一样，尽管这个英语的要求非常严格！Python 的这种伪代码本质是它最大的优点之一。它使你能够专注于解决问题而不是去搞明白语言本身。 易学 – 就如同你即将看到的一样，Python 极其容易上手。前面已经提到了，Python 有极其简单的语法。 免费、开源 – Python 是 FLOSS（自由/开放源码软件）之一。简单地说，你可以自由地
Python3(超详细python3，三万字教程）
Python单行客的博客
10-16 6360
Python3(超详细python3，三万字教程）
python图像常规操作
12-24
本文将重点介绍如何使用Python的PIL（Python Imaging Library）和Matplotlib库进行基本的图像操作。 首先，PIL是Python中最常用的图像处理库之一，它提供了多种图像处理功能，包括图像的读取、显示、保存，以及各种...
python：记录python的常规操作
02-27
在这个"python：记录python的常规操作"的资源中，我们将深入探讨Python的基础知识以及一些常见的操作。 1. **基础语法** - 变量赋值：Python中的变量定义无需指定类型，直接通过等号进行赋值。 - 数据类型：包括...
Python：常规Python工作
02-22
在"Python：常规Python工作"这个主题中，我们主要探讨的是Python在日常开发中的应用，包括但不限于基础语法、数据结构、函数、模块化编程、错误与异常处理以及面向对象编程等核心概念。 首先，Python的基础语法是...
Python-Python3入门.ppt
11-15
Python3入门教程 Python是一种高级编程语言，以其简洁明了的语法和强大的功能著称。它广泛应用于数据处理、Web开发、科学计算、自动化任务等多个领域。Python3是Python的最新版本，相比于Python2，它引入了一些改进...
运行 python3 的三种方式
betterzl的博客
04-28 1141
运行 Python3 的三种方式交互式解释器命令行脚本集成开发环境（IDE：Integrated Development Environment）: PyCharm 交互式解释器 （1）通过命令行窗口进入python Unix/Linux： $ python Windows/DOS： >python （2）在交互式解释器中编写Python代码 >>> a=1 >...
Centos7安装docker compse踩过的坑及解决方法
09-30
本文，我们介绍如何在centos7环境下安装docker-compose, 记录下安装过程步骤以及遇到的问题还有解决办法，感兴趣的朋友参考下吧
python3 执行系统命令
whatday的专栏
08-01 1457
目录 os.system os.popen commands subprocess os.system 这是通过调用标准C函数system（）命令实现的，并且具有相同的限制条件。 在Unix平台上， 返回值是执行命令的 状态码，0表示成功，其他表示失败。并将命令执行结果输出到屏幕上。 import os print (os.system("mkdir test_system")) 0 print (os.system("mkdir test_system")) mkdir: cannot
PyThon3类的基本使用
09-10 183
代码： class Person: def __init__(self, name, age, sex): self.name = name self.age = age self.sex = sex def desc(self): print("name:{},age:{},s...
python3 shell,python3执行shell命令
weixin_42170064的博客
03-25 3130
python执行shell命令？Python执行Linux系统命令，即在Python脚本中调用Shell命令，具体有以下四种方法：os.system //仅仅在一个子终端运行系统命令，而不能获取命令执行后的返回信息system(command) -> exit_status Execute the command (a string) in a subshellpython怎么执行shell...
python3执行shell命令(基于subprocess.run)
村长在路上
10-31 2230
python3提取文本中的域名并存入数据库
python3 shell 中添加清屏
weixin_30332705的博客
02-28 395
在windows中： 　　安装目录 \Lib( D:\Python37\Lib) 中添加 ClearWindow.py 文件，文件内容： """ Clear Window Extension Version: 0.2 Author: Roger D. Serwy roger.serwy@gmail.com Date: 2009-06-14 ...
python调用shell命令-「Python」6种python中执行shell命令方法
weixin_37988176的博客
11-01 774
用Python调用Shell命令有如下几种方式：第一种：os.system("The command you want").这个调用相当直接，且是同步进行的，程序需要阻塞并等待返回。返回值是依赖于系统的，直接返回系统的调用返回值，所以windows和linux是不一样的。第二种：os.popen(command[,mode[,bufsize]])先给大家看个例子可以看出，pop...
python3 shell_用Python写一个简单的Linux Shell（3）
weixin_39529302的博客
12-03 307
声明本人小白，欢迎在评论区提出意见建议。文章未经允许不得转载。文章首发于我的博客。实现shell工作目录切换大家都应该是试过在shell中输入cd new_directory来切换shell的当前工作目录(current working directory，cwd)。但是，大家可能不太熟悉的是，在绝大多数情况下，cd其实是一个shell的内置命令，而不是一个程序。POSIX API中有专门的函数，...
Python3：历史、流行与应用领域
5. **丰富的库支持**：Python的生态系统极其丰富，涵盖了自动化运维（如Selenium）、Web开发（如Django、web2py）、科学计算（如NumPy、SciPy、Matplotlib）、常规软件开发、网络编程、人工智能（如机器学习、神经...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值