机器学习-python语言基础第十三天

构建虚拟环境

在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。
如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python 3。如果应用A需要jinja 2.7，而应用B需要jinja 2.6怎么办？
这种情况下，每个应用可能需要各自拥有一套“独立”的Python运行环境。virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。
pycharm中集成了添加虚拟环境的方法。具体可以在某一个项目的目录下，点击pycharm的file->setting，在弹出的窗口中找到Project：Python目录下的Project Interpreter

在Project Interpreter目录后点击齿轮按钮，可以配置虚拟环境。

勾选Inherit global site-packages，即可生成虚拟环境。可以在虚拟环境下安装包，相当于pip安装的方法。点击加号，如下图

安装相应的包，即可导入相应的包。

CSV文件操作

之前编写的读取文件，都以文本文件的方式读取和写入，如下列代码：

def text_write():
    '''文件写入'''
    with open('data.txt', 'w', encoding='utf-8') as f:
        f.write('同一进程内可被并行激活的控制流\n')
        lines = [
            '地址：北京市\n'
            'QQ:123445\n'
        ]
        f.writelines(lines)


def txt_read():
    '''文件写入'''
    with open('data.txt',encoding='utf-8') as f:
        for line in f:
            print(line, end='')


if __name__ == '__main__':
    text_write()
    txt_read()

csv基本读操作

csv文件是以逗号隔开的文件内容，通常可以通过数据库的扁平文件导出获得。

import csv

def csv_read():
    '''csv基本读取'''
    with open('product.csv',encoding='utf8') as f:
        reader = csv.reader(f)  #将打开的文件用csv封装一层，方便操作。
        headers = next(reader)   #迭代器，先获取文件的头部一行
        for row in reader:
            print(row)
            
if __name__ == '__main__':
    csv_read()

上述代码是csv的基本操作，当代开一个文件时，需要利用csv 封装一层，将其变成一个csv的可迭代对象。其余操作类似于基本文件打开操作。

csv读操作高级用法

def csv_read_by_namedtuple():
    '''读取csv文件并用namedtuple映射列名'''
    with open('product.csv', encoding='utf8') as f:
        reader = csv.reader(f)
        headers = next(reader)
        Row = namedtuple('Row', *headers)
        for r in reader:
            row = Row(*r)
            print(row)
            # print('{}-{}-{}'.format(row.ProductID,row.ProductName,row.UnitPrice))


def csv_read_by_dict():
    with open('product.csv', encoding='utf-8') as f:
        reader = csv.DictReader(f)
        for row in reader:
            print(row)

csv模块还可以结合collecitons中的nametuple来构造命名元组。csv自身还带了字典表的操作，其中字典表的函数大小写要区分。

csv基本写操作

def csv_write():
    '''写入csv文件'''
    headers = ['编号', '课程', '讲师']
    rows = [
        (1, 'Python', 'Eason'),    # ctrl+d
        (2, 'C3', 'Eason'),
        (3, 'Django', 'Eason'),
        (4, '.NET', 'Eason')
    ]
    with open('my_coures.csv', 'w', encoding='utf8', newline='') as f:
        writer = csv.writer(f)
        writer.writerow(headers)
        writer.writerows(rows)


if __name__ == '__main__':
    csv_write()

通过内置的两个方法来完成写操作，一是writerow，写如单行，另一个是writerows，写入多行，在以写方式打开文件时，默认写入以换行符开开始新的一行，而csv的写操作也有换行符，因此将newline赋值为空。

csv写操作高级用法

def csv_write_by_dict():
    '''以字典的形式写入csv文件'''
    headers = ['ID', 'Tittle', 'Org', 'Url']
    rows = [
        {'ID': 1, "Tittle": 'Python', 'Org': 'Youpin', "Url": 'www.calss'},
        {'ID': 2, "Tittle": 'Python', 'Org': 'Youpin', "Url": 'www.calss'},
        {'ID': 3, "Tittle": 'Python', 'Org': 'Youpin', "Url": 'www.calss'},
        {'ID': 4, "Tittle": 'Python', 'Org': 'Youpin', "Url": 'www.calss'}
    ]
    with open('my_course2.csv', 'w', encoding='utf8',newline='') as f:
        writer = csv.DictWriter(f, headers)
        writer.writeheader()
        writer.writerows(rows)

字典的每个key要与headers完全对应上才可以。

JSON

http://json.org/json-zh.html可以查看json的介绍。JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。
SON是一个标记符的序列。这套标记符包含六个构造字符、字符串、数字和三个字面名。

• 六个构造字符：
• [ 左方括号
• { 左大括号
• ] 右方括号
• } 右大括号
• : 冒号
• , 逗号

在这六个构造字符的前或后允许存在无意义的空白符
JSON的值:
JSON的构成: ws 值 ws

值可以是对象、数组、数字、字符串或者三个字面值(false、null、true)中的一个。值中的字面值中的英文必须使用小写。
对象由花括号括起来的逗号分割的成员构成，成员是字符串键和上文所述的值由逗号分割的键值对组成，如：
{“name”: “John Doe”, “age”: 18, “address”: {“country” : “china”, “zip-code”: “10000”}}
数组是由方括号括起来的一组值构成，如：
[3, 1, 4, 1, 5, 9, 2, 6]
字符串与C或者Java的字符串非常相似。
字符串是由双引号包围的任意数量Unicode字符的集合，使用反斜线转义。一个字符（character）即一个单独的字符串（character string）。
数字也与C或者Java的数值非常相似。除去未曾使用的八进制与十六进制格式。除去一些编码细节

import json

ef josn_basic():
    data = {
        'ID':1,
        "课程":'Python',
        '机构':'优品',
        '单价':98.00
    }
    print('原始数据')
    print(data)


    json_str = json.dumps(data)
    print(json_str)
    print('-'*20)
    json_data=json.loads(json_str)
    print(json_data)

if __name__ == '__main__':
    josn_basic()

内置方法dumps是将python的语法改成json的命名规则。结尾的s是变成字符串的形式。loads对应dumps，将字符串还原。

def json_write_file():
    '''写json文件'''
    data = {
        'ID': 1,
        "课程": 'Python',
        '机构': '优品',
        '单价': 98.00
    }

    with open('data.json', 'w', encoding='utf8') as f:
        json.dump(data, f)


def json_read_file():
    '''读取json文件'''
    with open('data.json', 'r', encoding='utf8') as f:
        data = json.load(f)
        print(data)

json读写文件的操作与上述方法相同，直接调用dump和load方法即可。

def json_type_diff():
    '''类型差异'''
    data = {
        'Discontinued':False,
        'Tittle':'iPhone7s',
        'Category':None,
        'Price':5999.00
    }
    text=json.dumps(data)
    print(text)

可通过上述代码验证json转换数据的差别。

excel读取操作

excel的文件读取时通过xlrd模块进行的，想要读取xls文件内容，要先获得xls文件内的sheet，读取sheet内的数据。

import xlrd

def xl_read():
    '''excel读取'''
    book = xlrd.open_workbook('product.xls')
    for sheet in book.sheets():
        print(sheet.name)

def xl_read_data():
    book=xlrd.open_workbook('product.xls')
    # sheet = book.sheet_by_index(0)
    sheet = book.sheet_by_name('Product')
    print('工作薄：{}'.format(sheet.name))
    print('数据行:{}'.format(sheet.nrows))
    print('-'*50)
    for i in range(sheet.nrows):
        print(sheet.row_values(i))



if __name__ == '__main__':
    xl_read_data()

xlrd内置的open_workbook方法，可以打开一个xls文件，通过方法.sheet_by_index或.sheet_by_name，获得某一sheet，index是通过索引，name是通过名称，获得的sheet是一个对象，内置有name、nrows等属性。row_values是内置的获取一行数据的函数，返回一个列表。