数据分析的步骤-数据的读取

        做了一个多月的业务，某天敲代码忽然发现很多之前熟练于心的东西忘了，十分恐怖，因此以此为契机梳理一下自己做数据分析时的步骤，为未来的自己提供一个可以快速查找的机会。

获取当前文件夹下所有文件的名字

# -*- coding: utf-8 -*-

import os

def file_name(file_dir):
    L=[]
    for root, dirs, files in os.walk(file_dir):
        for file in files:
            if os.path.splitext(file)[1] == '.jpeg':
                L.append(os.path.join(root, file))
    return L
#其中os.path.splitext()函数将路径拆分为文件名+扩展名

1、excel的读取

import pandas as pd
data = pd.read_excel('data.xlsx',encoding='utf-8')

2、txt的读取

with open('新建文本文档 (2).txt',encoding='utf-8') as f:
    for line in f.readlines():
        get_str.append(line)

3、sql的读取

import pymysql
import psycopg2
import pymssql
con = pymssql.connect(server=sql_name['server'], user=sql_name['user'], password=sql_name['password'],
database=sql_name['database'], charset=sql_name['encoding'])
cur = con.cursor()
try:
    cur.execute(sql)
#sql为你要写的sql代码
    data = cur.fetchall()
    column = cur.description
    column_name = [column[i][0] for i in range(len(column))]
    dataframe = pd.DataFrame(list(data), columns=column_name)
except Exception as e:
    dataframe = pd.DataFrame()
#print(e)
cur.close()
con.close()