python基础 任务5

1.file

   a.打开文件方式（读写两种方式）     

      (1) 若文件在当前目录下，则直接输入文件名及其文件类型；

            若文件存在于其他路径，则需指定完整路径。

f=open('somefile.txt','r')     #读当前目录的文件
f.read()
f=open('F:/Pythonlearning/somefile.txt') #读其他路径的文件
f.read()

    (2) 路径的三种写法

          Open('F:/Pythonlearning/somefile.txt')

          Open(r 'F:\Pythonlearning\somefile.txt')

          Open('F:\\Pythonlearning\\somefile.txt')     一个\是转义字符

    (3) open中的读模式为默认，其模式参数可不写

f=open('F:/Pythonlearning/somefile.txt'，’w’) #报错 
f.read() 

open函数中模式参数的常用值

值	描述
‘r’	读模式
‘w’	写模式
‘a’	追加模式
‘b’	二进制模式（可添加到其他模式使用）
‘+’	读/写模式（可添加到其他模式使用）

   b.文件对象的操作方法

        (1) 读和写

f=open('somefile.txt','w') #删除原有内容 写入
f.write('Hello')
f.write('World')
f.close()

f=open('somefile.txt','a')  #追加内容
f.write('\nHello') 
f.write('World')
f.close()

f=open('somefile.txt','r')
#f.read(3)
print(f.read()) #读取剩下文件 

        (2) 读写行

f=open('somefile.txt','r')
for i in range(4):
    print(str(i)+':'+f.readline())  #读某行
f.close()

import pprint
pprint.pprint(open('somefile.txt').readlines()) #读全部

   

   c.学习对excel及csv文件进行操作

       (1) 对excel的操作

                 读取：

import xlrd

file = 'Data.xls'

wb=xlrd.open_workbook(filename=file)#打开文件
print(wb.sheet_names())#获取所有表格名字

sheet1 = wb.sheet_by_index(0)#通过索引获取表格
sheet2 = wb.sheet_by_name('csvData')#通过名字获取表格
print(sheet1,sheet2)
print(sheet1.name,sheet1.nrows,sheet1.ncols)   #nrows 行数  ncols列数

rows = sheet1.row_values(2)#获取行内容
cols = sheet1.col_values(1)#获取列内容
print(rows)
print(cols)

#print(sheet1.cell(1,0).value)#获取表格里的内容，三种方式
print(sheet1.cell_value(1,0))
#print(sheet1.row(1)[0].value)

    写入：

import xlwt

#设置表格样式
def set_style(name,height,bold=False):
    style = xlwt.XFStyle()
    font = xlwt.Font()
    font.name = name
    font.bold = bold
    font.color_index = 4
    font.height = height
    style.font = font
    return style

#写Excel
def write_excel():
    f = xlwt.Workbook()
    sheet1 = f.add_sheet('学生',cell_overwrite_ok=True)
    row0 = ["姓名","年龄","出生日期","爱好"]
    colum0 = ["张三","李四","恋习Python","小明","小红","无名"]
    #写第一行
    for i in range(0,len(row0)):
        sheet1.write(0,i,row0[i],set_style('Times New Roman',220,True))
    #写第一列
    for i in range(0,len(colum0)):
        sheet1.write(i+1,0,colum0[i],set_style('Times New Roman',220,True))

    sheet1.write(1,3,'2006/12/12')
    sheet1.write_merge(6,6,1,3,'未知')#合并行单元格 
    sheet1.write_merge(1,2,3,3,'打游戏')#合并列单元格  在第四列的第二三两行合并单元格
    sheet1.write_merge(4,5,3,3,'打篮球')

    f.save('test.xls')

if __name__ == '__main__':     #当前模块
    write_excel()

       (2) 对csv的操作

            操作csv文件的方法之一：使用Pandas

import pandas as pd               #导入pandas包
data =pd.read_csv('train.csv')  #读取CSV文件
print(data)
print(data.head(5)) #打印前五行
print(data.columns) #返回全部列名
print(data.shape)   #返回csv文件形状
print(data.loc[1:2]) #打印第1到2行
data.loc[2:4,['Passenger','Sex']]  #打印行中特定列

import csv
csvFile = open('csvData.csv','w',newline='')   #创建csv文件  newline 避免空行出现
writer=csv.writer(csvFile)          #创建写的对象
writer.writerow(['name','age'])     #先写列名 写入列的名称
writer.writerows([['Bob','18'],['Baby','29']])  #用writerows写入多行  
csvFile.close()

2.os模块

       OS模块主要用于文件一些操作，如果需要经常查找操作文件，像查找配置文件，查找测试报告，经常要对大量的文件和大量路径进行操作。

import os
path = os.getcwd()   #查看当前所在路径
listtype=os.listdir(path)   #例举目录下所有文件及其类型
print(path)
print(listtype)

print(os.path.split(path)) #将路径分解为（文件夹，文件名）
print(os.path.dirname(r'C:\Users\lij\.spyder-py3'))  #返回路径的上一级文件夹名
print(os.path.getmtime(path))  #文件或文件夹的最后修改时间，从新纪元到访问时的秒数
print(os.path.getatime(path))  #文件或文件夹的最后访问时间，从新纪元到访问时的秒数
print(os.path.getctime(path))  #文件或文数件夹的创建时间，从新纪元到访问时的秒
print(os.path.exists(path))#文件或文件夹是否存在，返回True 或 False。

3.datetime模块

from datetime import datetime,timedelta   #从datetime模块中导入datetime类\timedelta类
now = datetime.now()    #获取当前时间
print(now)
dt =datetime(2019,2,6,00,00)  #创建指定日期
print(dt)

#将用户输出的形式为字符串的日期和时间转化为datetime，便于后续处理
cday=datetime.strptime('2019-04-09 10:08:16','%Y-%m-%d %H:%M:%S') 
print(cday)

#datetime的加减，可以直接用+和-，不过需要导入timedelta这个类
newtime=now+timedelta(hours=10) 
print(newtime)

#datetime与timestamp的转化  
#如果要存储datetime，最佳方法是将其转换为timestamp再存储，因为timestamp的值与时区完全无关
t=dt.timestamp()
print(t) 

date=datetime.fromtimestamp(t)
print(date)

4.类和对象

       面向对象最重要的概念就是类（Class）和实例（Instance）。

       实例是根据类创建出来的一个个具体的‘对象’，每个对象有相同的方法，但数据可能不同。

 #Student类是从object类继承下来的，object类是所有的类最终都会继承的类
 #类起到模板作用，实例是根据类创建出来的一个个具体的“对象”
class Student(object):                 

def __init__(self, name, score):  #通过定义特殊的--init--方法，在创建实例时，把name、score属性绑上去
        self.name = name           #注意到__init__方法的第一个参数永远是self，表示创建的实例本身
        self.score = score

    def print_score(self):
        print('%s: %s' % (self.name, self.score))

    def get_grade(self):
        if self.score >= 90:
            return 'A'
        elif self.score >= 60:
            return 'B'
        else:
            return 'C'

bart = Student('Bart Simpson', 59)  #bart lisa为Student的实例
lisa = Student('Lisa Simpson', 87)

print('bart.name =', bart.name)    #为bart绑定name属性
print('bart.score =', bart.score)
bart.print_score()     #调用类中的方法

print('grade of Bart:', bart.get_grade())
print('grade of Lisa:', lisa.get_grade())

5.正则表达式

       正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它“匹配”了，否则，该字符串就是不合法的。

所以我们判断一个字符串是否是合法的Email的方法是：

        创建一个匹配Email的正则表达式；

         用该正则表达式去匹配用户的输入来判断是否合法。

在正则表达式中，如果直接给出字符，就是精确匹配。用\d可以匹配一个数字，\w可以匹配一个字母或数字，所以：

       '00\d'可以匹配'007'，但无法匹配'00A'；

       '\d\d\d'可以匹配'010'；

       '\w\w\d'可以匹配'py3'；

.可以匹配任意字符，所以：

       'py.'可以匹配'pyc'、'pyo'、'py!'等等。

要匹配变长的字符，在正则表达式中，用*表示任意个字符（包括0个），用+表示至少一个字符，用?表示0个或1个字符，用{n}表示n个字符，用{n,m}表示n-m个字符：

来看一个复杂的例子：\d{3}\s+\d{3,8}。

我们来从左到右解读一下：

       \d{3}表示匹配3个数字，例如'010'；

       \s可以匹配一个空格（也包括Tab等空白符），所以\s+表示至少有一个空格，例如匹配' '，' '等；

       \d{3,8}表示3-8个数字，例如'1234567'。

综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。

如果要匹配'010-12345'这样的号码呢？由于'-'是特殊字符，在正则表达式中，要用'\'转义，所以，上面的正则是\d{3}\-\d{3,8}。

进阶

        要做更精确地匹配，可以用[]表示范围，比如：

• [0-9a-zA-Z\_]可以匹配一个数字、字母或者下划线；
• [0-9a-zA-Z\_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如'a100'，'0_Z'，'Py3000'等等；
• [a-zA-Z\_][0-9a-zA-Z\_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；
• [a-zA-Z\_][0-9a-zA-Z\_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）

A|B可以匹配A或B，所以(P|p)ython可以匹配'Python'或者'python'。

^表示行的开头，^\d表示必须以数字开头。

$表示行的结束，\d$表示必须以数字结束。

你可能注意到了，py也可以匹配'python'，但是加上^py$就变成了整行匹配，就只能匹配'py'了。

6.re模块

Python提供re模块，包含所有正则表达式的功能

使用r前缀，不用考虑转义问题

      (1)切分字符串：将用户的不规范输入转化成为正确的数组

      (2)分组：正则表达式中的子串提取功能。用()表示的就是要提取的分组（Group）。比如：^(\d{3})-(\d{3,8})$分别定义了两个组，可以直接从匹配的字符串中提取出区号和本地号码。

import re   

print('Test: 010-12345')
#match判断是否匹配，如果匹配成功，返回一个Match对象，否则返回None  参数（r‘正则表达式’，test）
m = re.match(r'^(\d{3})-(\d{3,8})$', '010-12345')  #正则表达式中定义了两个组
#分组 正则表达式的子串提取功能  提取区号和本地号码
#如果正则表达式中定义了组，就可以在Match对象上用group()方法提取出子串来。
print(m.group(1), m.group(2))

t = '19:05:30'
print('Test:', t)
m = re.match(r'^(0[0-9]|1[0-9]|2[0-3]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])\:(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])$', t)
print(m.groups())

#切分字符串
s1=re.split(r'\s+','a b   c')
print(s1)

s2=re.split(r'[\s\,]+','a,b,c   d')
print(s2)

s3=re.split(r'[\s\,\;]+','a,b;;c  d')
print(s3)

python中常见的正则表达式：

https://blog.csdn.net/sinat_34439107/article/details/70214232

7.http请求

读取url和下载网页内容，是每个爬虫的必经之路。Python实现HTTP请求有三种方式：

        (1)urllib2/urllib

        (2)httplib/urllib

        (3) Requests

以requests为例进行学习：

       get请求        

       Post请求   传递body参数

       响应码code和响应头headers处理

       请求超时设置

import requests

url='https://www.baidu.com/'
req= requests.get(url)   #在get请求中使用查询字符串传递参数
print (req.text)   
print(req.content)   #返回字节形式

#响应码和响应头headers的处理
url = 'https://www.csdn.net/'
r = requests.get(url)
if r.status_code == requests.codes.ok:
    print ('=== status_code === ', r.status_code)  # 响应码
    print ('=== headers === ', r.headers)  # 响应头
    print ('=== Content-Type === ', r.headers.get('Content-Type'))  # 获取响应头中的Content-Type字段
else:
    r.raise_for_status()  # 抛出异常


#请求超时设置
url = 'https://www.csdn.net/'
r = requests.get(url,timeout=20)

参考资料：

https://blog.csdn.net/qq_34200636/article/detailus/89076777

https://blog.csdn.net/csdnnews/article/details/80878945

https://blog.csdn.net/Qzx9059/article/details/89080953

https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431864715651c99511036d884cf1b399e65ae0d27f7e000

https://blog.csdn.net/weixin_42734407/article/details/81162026

https://blog.csdn.net/qq_28284093/article/details/81475700