Python进阶操作1+python脚本

已于 2022-05-09 16:45:05 修改
阅读量1k 收藏
点赞数
分类专栏： 大数据扩展知识 文章标签： python linux
于 2022-04-26 17:07:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43476430/article/details/124421726
版权

目录​​​​​​​

一、关于打开文件两种方式

二、lambda函数和map函数

三、数组 * 数字

四、除法在py2.0与py3.0区分

五、python的闭包操作

六、Python 的 replace函数用法

七、global声明

八、编码解码

九、字符串的  find 与 index 区别

十、Python中 sys.argv[]的用法

1、解释

2、例子解释

（2） argv[0]

 (3) argv[1]

(4) argv[2:]

（5） argv[2:4]

（6）argv

十一、python中   getopt() 函数的使用

1、解释

2、用法

（1）简单诠释

（2）代码使用 

十二、python的JSON使用

十三、格式化赋值与输出

十四、cursor.execute 对sql语句赋值的格式

十五、join()函数和os.path.join()

十六、一个python脚本：生成从mysql到hdfs的datax的全量json脚本

1、脚本编写如下

2、测试如下

十七、一个python脚本：生成从mysql到hdfs的datax的增量json脚本

1、脚本如下：

2、生成json脚本

3、执行json脚本

一、关于打开文件两种方式

"""第一种使用print进行输出，输出的目的地是文件"""
fp = open(r"D:\test.txt","w")
print("这是利用print输出",file = fp)
fp.close()


"""第二种 使用文件读写操作进行输出"""
with open(r"D:\aa.txt","w") as file:
    file.write("这是利用with 进行输出的")

二、lambda函数和map函数

"""lambda"""
"""一 创建匿名函数"""
#正常写法
def sum_a_b1(a,b):
    return a+b
print(sum_a_b1(10,20))

#lambda 写法
#默号前面是参数  默号后面是执行的逻辑
sum_a_b2 = lambda x,y : x+y
print(sum_a_b2(10,30))


"""二  和map函数共用"""
pingfang = lambda x:x**2
a=[1,2,3]
#map 会映射list中每一个值 做func 处理
#使用list处理成列表打印出
print(list(map(pingfang,a)))

三、数组 * 数字

a = [1,2]
print(a*2)

# 打印结果：
# [1,2,1,2]
# 在Python3中对于数组、字符串的 * 表示对原数组、字符串的复制，所以 a * 2 表示对列表a的复制，结果为 [1,2,1,2]
# 而且在Python3中字符串、列表和元组支持此种方法复制数据，字典和集合不行

四、除法在py2.0与py3.0区分

print(type(1/2))

# Python2 中除法默认向下取整，因此 1/2 = 0，为整型。
# Python3 中的除法为正常除法，会保留小数位，因此 1/2 = 0.5，为浮点型。

五、python的闭包操作

"""闭包操作
闭包;
    函数内的属性，都是有生命周期的，都是在函数执行期间
    内部函数 对外部函数  作用域里的变量   的引用
    闭包内的闭包函数私有化了变量，完成了数据的封装，类似于面向对象
"""
# 例子1
def func():  #外部函数
    a = 1   #外部函数作用域里的变量
    print("func")
    def func1(num):  #内部函数
        print("func1")
        print(num+a)
    return func1

var = func()
var(3)


#例子2
mylist = [1,2,3,4]
def a(mylist):
    print("初始list:",mylist)
    def b():
        mylist[0]+=1
        print("操作list:",mylist)
    return  b
c = a(mylist)
c()
c()

六、Python 的 replace函数用法

"""字符串的replace 方法，如果有2个参数表示将字符串中的某个字符替换成另外一个字符，如果有3个字符，
最后一个参数指的是：替换最大数，实例如下：
a = "hello"
print(a.replace('l','*',2)) 因为最后一个参数是2，所以，最大替换数为：2，所以结果为：he**o
"""
a = "helllo"
print(a.replace('l','*',2))

七、global声明

"""
当内部作用域想修改外部变量时，需要使用global声明。
"""
counter = 1
def doLotsOfStuff(): 
    global counter
    for i in (1, 2, 3): 
        counter += 1 
doLotsOfStuff()
print(counter)

八、编码解码

"""
有一段python的编码程序如下,请问经过该编码的字符串的解码顺序是
urllib.quote(line.decode("gbk").encode("utf-16"))


题目中的代码是一个编码过程：
编码:decode() 
解码:encode() 
url编码:urllib.quote() 
line.decode("gbk") 可知 line 是 gbk 编码的

编码过程：
line -> 解码 gbk -> 编码 utf-16 -> 编码 url

解码过程（与编码过程相反）：
解码 url -> utf-16 -> gbk
"""

九、字符串的  find 与 index 区别

"""
find：找到返回第一个位置索引，找不到返回-1  str.find(str1,a)  a为索引开始处，默认0
index：找到返回第一个位置索引，找不到报ValueError
"""
strs = 'I like python'
one = strs.find('a')
print(one)
two = strs.index('a')
print(two)

十、Python中 sys.argv[]的用法

1、解释

sys.argv[] 是从一个程序从外部获取参数的桥梁，并且我们获取的参数可以是多个，所以获取的是一个list列表，也就是我们可以将sys.argv[] 看做一个列表，所以我们可以用 [] 提取其中的元素，其中在这些元素中，第一个元素是我们的程序本身，随后，是依次从外部获取的参数。

2、例子解释

（1）首先  sys.argv[0] 代表我们文件的本身

#代码如下
import sys
print(sys.argv[0])


#输出如下
# D:/pythontest/plane/实操/test2.py

（2） argv[0]

cmd  进入到我们的 文件存储目录

执行我们的文件如下

 (3) argv[1]

再次执行  并在后面加一个参数，如下

(4) argv[2:]

import sys
print(sys.argv[2:])

 执行如下

 代表 从输入的第二个参数，包括第二个参数

（5） argv[2:4]

import sys
print(sys.argv[2:4])

执行如下

 代表 从输入的第二个参数，到第四个参数，包括第二个参数，不包括第四个参数

（6）argv

import sys
print(sys.argv)

执行如下

十一、python中   getopt() 函数的使用

1、解释

在使用python脚本时，有时会需要传入不同的参数来实现不同的功能。

目前有  短选项 和 长选项 两种格式

段选择格式为： -   加上一个字母 ，比如： -p

长选项格式为：--  加上一个单词，比如; --name

2、用法

（1）简单诠释

代码如下

import sys
import getopt

option,args = getopt.getopt(sys.argv[1:],'ht:',['help','filename='])

print(option)
print(args)

解释：

短选项若不接受参数  直接  参数即可如上  h  即可 ，若要接收参数，则参数后加一个 ：即可，如上 t:  

长选项需要用方括号包住，如上，若不接受参数值，直接变量名即可 如上  help，若要接受参数值参数后加一个  = 即可，如上。

并且  getopt.getopt(sys.argv[1:],'ht:',['help','filename=']) 返回的是一个两元组的列表

执行结果如下

 

（2）代码使用 

由（1）我们得知getopt的基本用法，下面用一个简单代码诠释

代码如下

import sys
import getopt
option , args= getopt.getopt(sys.argv[1:],'-h-t:',['help','filename='])
for opt_name,opt_value in option:
    if opt_name in('-h','--help'):
        print("----help----")
    if opt_name in('-t'):
        print("--t--  is",opt_value)
    if opt_name in('--filename'):
        print('--filename--',opt_value)

执行结果如下：

十二、python的JSON使用

import json

# 构建一个json格式的字典
person = {"name":"zhangsan","address":"shanghai","tel":["123456","654321"],"is_only":True}
print(type(person))
print(person)


## dumps  是将格式转换为  str
## dump   必须要和文件在一起操作  有文件指针
## 同理  load  和 loads与其用法相反

# 将构建的json格式的python对象转换为 str
# indent = 4  可以将格式化 str，更加便于阅读
new_person = json.dumps(person,indent=4)
print(type(new_person))
print(new_person)

# 将dict 格式化并存储在文件中
with open('test1.json','w') as f:
    json.dump(person,f,indent=4)

十三、格式化赋值与输出

def test(a,b):
    txt = 'aaaa is %s ,  bbbb  is %s'
    print(txt %(a,b))


    print('cccc is %s ,dddd is  %s'%(a,b))

if __name__ == '__main__':
    a = input("a:")
    b = input("b:")
    test(a,b)

十四、cursor.execute 对sql语句赋值的格式

 ## 传参模式如下
    cursor.execute(sql,[database,table])


##其中  database  table为变量 ，格式如此

十五、join()函数和os.path.join()

"""
join 语法
'sep'.join(seq)
sep为 连接符，可以为空
seq要连接的元素的序列、字符串、元组、字典
"""

path = '.'.join(['a','b','c'])
print(path)

"""打印结果为
a.b.c

"""

十六、一个python脚本：生成从mysql到hdfs的datax的全量json脚本

1、脚本编写如下

#coding=utf-8
import getopt
import json
import os
import sys
import MySQLdb

# mysql 连接信息
mysql_host = 'hadoop'
mysql_port = '3306'
mysql_user = 'root'
mysql_passwd = '123456'

#HDFS 连接信息
hdfs_node = "hadoop"
hdfs_port = "9000"

# 生成文件所在的的路径
out_path = "/home/peizk/pytest"


# 生成 mysql连接信息
def mysql_connect():
    return MySQLdb.connect(host=mysql_host,port=int(mysql_port),user=mysql_user,passwd=mysql_passwd)


# 获取相关数据库里表的信息
def mysql_meta(database,table):
    connect = mysql_connect()
    cursor = connect.cursor()
    sql = ("""SELECT 
                COLUMN_NAME
                ,DATA_TYPE 
              from 
                information_schema.COLUMNS 
              WHERE 
                TABLE_SCHEMA= %s AND TABLE_NAME= %s 
              ORDER BY 
                 ORDINAL_POSITION """)
    ## 传参模式如下
    cursor.execute(sql,[database,table])
    ### fetchall 获取的是一个元组
    fetchall = cursor.fetchall()
    cursor.close()
    connect.close()
    return fetchall


# fetchall 获取的是一个元组 , 通过 lambda 函数获取我们所需的值
def mysql_col(database,table):
    meta = mysql_meta(database,table)
    # print(list(map(lambda x: x[0],meta)))
    # print(list(map(lambda x: x[1], meta)))
    return map(lambda x: x[0],meta)


# 获取mysql字段对应的hive的字段和类型
def hive_col(database,table):
    # hive类型转换
    def type_map(mysql_type):
        mapping = {
            "bigint": "bigint",
            "int": "bigint",
            "smallint": "bigint",
            "tinyint": "bigint",
            "decimal": "string",
            "double": "double",
            "float": "float",
            "binary": "string",
            "char": "string",
            "varchar": "string",
            "datetime": "string",
            "time": "string",
            "timestamp": "string",
            "date": "string",
            "text": "string"
        }
        return mapping[mysql_type]
    fetchall = mysql_meta(database,table)
    return map(lambda x: {"name": x[0],"type": type_map(x[1])},fetchall)


def generate_json(database,table):
    job = {
        "job": {
            "content": [{
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": list(mysql_col(database, table)),
                        "connection": [{
                            "jdbcUrl": ["jdbc:mysql://" + mysql_host + ":" + mysql_port + "/" + database],
                            "table": [table]
                        }],
                        "password": mysql_passwd,
                        "username": mysql_user,
                        "where": "1=1"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": list(hive_col(database,table)),
                        "compress": "snappy",
                        "defaultFS": "hdfs://" + hdfs_node + ":" + hdfs_port,
                        "fieldDelimiter": "\t",
                        "fileName": table,
                        "fileType": "orc",
                        "path": "${hdfs_path}",
                        "writeMode": "append"
                    }
                }
            }],
            "setting": {
                "speed": {
                    "channel": "1"
                }
            }
        }
    }
    if not os.path.exists(out_path):
        os.makedirs(out_path)
    with open(os.path.join(out_path,'.'.join([database,table+'full','json'])),'w') as f:
        json.dump(job,f,indent=4)


# 接收脚本外部传的参数，执行脚本
def main(args):
    database = ''
    table = ''
    option,opt_aa = getopt.getopt(sys.argv[1:],'d:t:',['database=','table='])
    for opt,opt_value in option:
        if opt in ('-d','--database'):
            database = opt_value
        if opt in ('-t','--table'):
            table = opt_value

    # 调用脚本
    generate_json(database,table)


# main函数
if __name__ == '__main__':
    main(sys.argv)

2、测试如下

使用 datax执行

[peizk@hadoop pytest]$ datax.py project.activity_infofull.json -p  "-Dhdfs_path=/user/hive/warehouse/project.db/ods_activity_info_full/pt=2022-01-01"

十七、一个python脚本：生成从mysql到hdfs的datax的增量json脚本

1、脚本如下：

# coding=UTF-8
"""
增量脚本
在全量的基础上进行改进
对sql语句进行优化
取增量数据  需要根据  create_time  和 update_time 两个一起进行判断

"""
import getopt
import json
import os.path
import sys
import MySQLdb

# mysql 连接信息
mysql_host = 'hadoop'
mysql_port = '3306'
mysql_user = 'root'
mysql_passwd = '123456'

# hadoop 连接信息
hadoop_host = 'hadoop'
hadoop_port = '9000'

# 生成脚本存储linux位置
out_path = '/home/peizk/pytest/test'

# mysql 连接
def mysql_connect(database,table):
    return MySQLdb.connect(host=mysql_host,port=int(mysql_port),user=mysql_user,passwd=mysql_passwd)


# 取得表中对应数据和类型的全部游标显示
def mysql_cursor(database,table):
    connect = mysql_connect(database,table)
    cursor = connect.cursor()
    sql = "SELECT COLUMN_NAME,DATA_TYPE from information_schema.COLUMNS WHERE TABLE_SCHEMA=%s AND TABLE_NAME=%s ORDER BY ORDINAL_POSITION"
    cursor.execute(sql,[database,table])
    meta = cursor.fetchall()
    cursor.close()
    connect.close()
    return meta


# 获取Datax所需的mysql字段
def mysql_col(database,table):
    return map(lambda x : x[0],mysql_cursor(database,table))


# 获取Datax所需的对应hive字段
def hive_col(database,table):
    def map_col(str):
        mapping = {
            "bigint": "bigint",
            "int": "bigint",
            "smallint": "bigint",
            "tinyint": "bigint",
            "decimal": "string",
            "double": "double",
            "float": "float",
            "binary": "string",
            "char": "string",
            "varchar": "string",
            "datetime": "string",
            "time": "string",
            "timestamp": "string",
            "date": "string",
            "text": "string"
        }
        return mapping[str]
    return map(lambda x :{"name" : x[0],"type" : map_col(x[1])},mysql_cursor(database,table))


# 增量表同步 sql 语句获取，注意start_date和end_date要用‘’包裹
def sql_query(database,table):
    sql_col = ','.join(list(mysql_col(database,table)))
    sql = "select "+sql_col+" from "+table+" where (${create_time}>=\'${start_date}\' and ${create_time}<\'${end_date}\') ${or} (${update_time}>=\'${start_date}\' and ${update_time}<\'${end_date}\')"
    return sql


# 生成增量表JSON
def generate_json(database,table):
    job = {
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://"+mysql_host+":"+mysql_port+"/"+database],
                                "querySql": [sql_query(database,table)]
                            }
                        ],
                        "password": mysql_passwd,
                        "username": mysql_user,
                        "splitPk": ""
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": list(hive_col(database,table)),
                        "compress": "snappy",
                        "defaultFS": "hdfs://"+hadoop_host+":"+hadoop_port,
                        "fieldDelimiter": "\t",
                        "fileName": table,
                        "fileType": "orc",
                        "path": "${hdfs_path}",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}
    return job


# 运行主程序，接受参数
def main(args):
    database = ''
    table = ''
    opt1,opt2 = getopt.getopt(args[1:],'d:t:',['database=','table='])
    for opt_name,opt_value in opt1:
        if opt_name in ('-d','--database'):
            database = opt_value
        if opt_name in ('-t','--table'):
            table = opt_value
    job = generate_json(database,table)

    #将生成 josn 存储在linux上
    if not os.path.exists(out_path):
        os.makedirs(out_path)
    with open(out_path+"/"+table+".json",'w') as f:
        json.dump(job,f,indent=4)


#  main函数
if __name__ == '__main__':
    main(sys.argv)

2、生成json脚本

[peizk@hadoop test]$ python a.py -d project -t seller_info

3、执行json脚本

[peizk@hadoop test]$ datax.py seller_info.json -p "-Dhdfs_path=/user/hive/warehouse/project.db/ods_seller_info_incr/pt=2022-01-01 -Dcreate_time=create_time  -Dstart_date='2022-01-01' -Dend_date='2022-01-02' -Dupdate_time=update_time -Dor=or"

ListenerDMT
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python进阶资料.zip
03-31
1. **《Python编程金典》**：这本书通常会深入讲解Python语言的核心特性，包括语法、数据结构、函数、类和对象、模块与包等，以及异常处理、I/O操作和网络编程。它可能还会探讨高级主题，如元编程和装饰器，帮助读者...
PythonScript插件用于notepad++的
08-10
PythonScript是一款为Notepad++设计的强大插件，它使得用户能够在Notepad++环境中直接编写、运行和调试Python脚本。这个插件极大地扩展了Notepad++的功能，使得它不仅仅是一个文本编辑器，更是一个轻量级的集成开发...
Python:进阶操作（1）
去向前方的博客
06-07 286
这份博客是个人的学习笔记以及总结，观看课程为廖雪峰在慕课上发布的《python》进阶。 一些关于python的基础操作以及安装，可以参考我之前的文章。 这份课程一开始会回顾之前学过的东西： 之前学过的有以下几点： 1python内置的基本类型 变量 2LIst 和turple 顺序的集合类型 3条件判断和循环 4dictheset ：根据key访问的集合类型。 5函数 6切片 ...
python文件操作脚本
逆风者
01-28 501
1、使用opencv批量压缩图片 import cv2 import os import time #需要压缩的图片路径 path='test' #压缩后图片存放路径 result='test_result' #dir为列表，包含path下所有的图片名 dir = os.listdir(path) print('需要压缩的图片数为：'+str(len(dir))) count = 1 fo...
Python进阶、并行编程、Python中文指南
freeking101的博客
03-23 1540
Python进阶、并行编程、Python中文指南
【Python脚本进阶】1.2、python脚本基础知识（上）
07-26 471
【Python脚本进阶】脚本提升
【Python脚本进阶】1.2、python脚本基础知识（中）
07-26 416
【Python脚本进阶】脚本提升
Python进阶.rar
06-06
8. **自动化运维**：通过Python脚本实现系统监控、自动化部署、文件操作等任务，例如使用Ansible进行配置管理。 9. **图形用户界面**：利用Tkinter、PyQt、wxPython等库创建GUI应用，提升用户体验。 10. **数据库...
Python从入门到进阶知识手册1885页.pdf
最新发布
11-14
3. 广泛应用：Python可用于Web开发、数据分析、人工智能、自动化脚本等多个领域。 4. 强大的库支持：Python有丰富的第三方库，如NumPy用于科学计算，Pandas用于数据处理，Django和Flask用于Web开发等。 5. 跨平台：...
Python进阶(Intermediate Python) 中文PDF彩色版
03-24
《Python进阶(Intermediate Python)》是一本专为已经熟悉Python基础语法的读者设计的进阶教程，旨在帮助读者深入理解和掌握Python编程的高级特性和实践技巧。这本书以中文PDF彩色版的形式呈现，使得学习过程更为直观...
Python 字符串操作
weixin_38170561的博客
10-24 83
Python 字符串操作（string替换、删除、截取、复制、连接、比较、查找、包含、大小写转换、分割等） 去空格及特殊符号 s.strip() .lstrip() .rstrip(',') 复制字符串 #strcpy(sStr1,sStr) sStr= 's...
python中“+=”操作与“+”操作
bigxuyang的博客
10-26 1643
先来看段代码：from timeit import Timerdef test1(): l = [] for i in range(1000): l = l + [i] def test2(): l = [] for i in range(1000): l.append(i) def test3(): l = [] for i in ran
python读文件并+1后写入
qq_43443001的博客
07-19 202
dsafsad
Python编程进阶，常用8大技巧！建议收藏！
2301_78098637的博客
06-03 179
并非本文中所有提到的功能在日常的 Python 编程中都是必需或有用的，但是其中某些功能可能会不时派上用场，而且它们也可能简化一些原本就很冗长且令人烦恼的任务。还需指出的是，所有这些功能都是 Python 标准库的一部分。而在我看来，其中一些功能似乎并不像标准库中包含的标准内容，所以当你使用 Python 实现本文提到的某些功能时，请先参阅 Python 的标准库，如果你不能找到想要的功能，可能只是因为你还没有尽力查找（如果真的没有，那它肯定也存在于一些第三方库）。
Python基础到进阶-100天
weixin_59272354的博客
02-14 343
first day 什么是Python？Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。 第一课：指行Python程序-案例 实例：#!/user/bin/python（2.x） print ("Hello World!") 实例：#!/user/bin/python 3.0+（3.x） print ("Hello World!") 笔试： #!/usr/bin/python 相当于写死了 python 路径。 #!/usr/bin/env python 会
添加python脚本启动参数 不同参数选择不同的数据源
weixin_30436891的博客
08-04 179
啊 转载于:https://www.cnblogs.com/dingyunfeng/p/11299559.html
python哲学内容 多行胜于单行_Python语言基础与应用-中国大学mooc-题库零氪
weixin_39626180的博客
12-15 1398
一、引子(51min)章节一测验1、“程序”就是做一件事情或者解决一个问题所采取的一系列()步骤。A、固定B、无序C、随机D、重复2、Python语言程序中的语句的行与行之间必须()对齐。A、右B、居中C、左D、无需对齐3、有些语句(如if，else，while)的末尾是冒号“ : ”，这样，下面的若干行就要缩进(____)个空格。A、必须1个B、必须2个C、至少4个D、最多4个E、至少1个4、P...
MOOC —— Python语言基础与应用 by 北京大学 第六章 计算和控制流（二）
大叔小py
01-22 4332
29、计算和控制流：代码组织：函数（def） 封装一个功能 容器是对数据 的封装 函数是对语句的封装 类是对方法和属性的封装 定义与调用函数 程序中实现明确功能的代码段可以封装成一个函数，以便复用 定义函数 def function(参数) &amp;amp;amp;amp;lt;缩进的代码段&amp;amp;amp;amp;gt; return &amp;amp;amp;amp;lt;函数返回值&amp;amp;amp;amp;gt; 调用函数 function(参数)
Python编程进阶指南：1885页详尽教程
这部分内容强调了Python作为通用编程语言在数据分析、Web开发、自动化脚本等领域的实用性。学习者会了解Python的数据类型转换，如整型、浮点型、字符串等，并通过实际操作编写简单的Python程序，如注释的使用、中文...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值