python-----本地各类文件数据采集以及数据存储----读取操作

1、txt文件读取操作

#文件打开操作

filename_url=' ---------------文件在本地存放地址，且使用'/'分隔 -----------------'

#打开文件操作

      #读取操作

           #若文件中含有中文则使用"-------encoding='utf-8'-------"

                file_obj=open(filename_url,mode='r',enconding='utf-8')

           #无中文读取

                file_obj=open(filename_url,mode='r'）

           #全部读取'read'

                 all_connect=file_obj.read()

           #逐行读取'readline',以换行符”\n”为结点，逐行读取

                 line=file_obj.readline()

            #逐行读取下一行

                 next_line=file_obj.readline()

            #读取全部内容，返回列表，列表中的每个元素都是行内容'readlines'，此种读取每行都会有\n

                 lines=file_obj.readlines()

           

2、CSV文件读操作

#CSV文件类似于Excel文件，用于存储数据，而利用Pandas对CSV文件进行处理较为快捷方便

#导入包
    import pandas as pd
    
    #pandas常用的数据结构：
    
       #Series：类似于以为数组的对象
    
       #DataFrame：表格型数据，可以表示二维或者更高维度的数据

#打开文件并读取
    
    filename_url='---------------文件在本地存放地址，且使用'/'分隔 -----------------'
    
    csv_obj=pd.read_csv(filename_url)
    
    print(type(csv_obj))---------可以获取数据格式
    
    #预览csv数据
    
    csv_obj.head()
    
    #获取单列数据
    
    filtered_data=csv_obj['列名']
    
    #获取多列数据
    
    filtered_data=csv_obj[['列名1','列名2']]

3、JSON文件读操作

#从文件中读取

   #导入包
 
    import json
 
   #读取操作
    filename_url=' ---------------文件在本地存放地址，且使用'/'分隔 -----------------'
   
   #打开文件并读取
 
     with open(filename_url,'r') as file_obj:
 
         json_data=json.load(file_obj)
       
         print(json_data)

   #JSON数据有两种结构,如图所示，其中包含：

      #对象(object)：由 { } 表示，如 {key1:val1, key2:val2}

      #数组(array)：由 [ ] 表示，如 [val1, val2, …, valn]

   #获取该json文件的key值
 
     print(json_data.key())
 
     #得出结论：dict_keys(['description','data'])
 
  #如果想要获取某个key值下的值可以使用for循环
 
     eg：for item in json_data['data']:    #循环key值为data的value值，由于data中还有json串,循环中每个item都是一个字符串
          
             print(item['city'])

#从字符串变量读取

     json_str='{--------json字符串---------}'
    
     json_data=json.loads(json_str)   

 

4、Excel文件读操作

#导入包

    import pandas as pd
    
#打开文件并读取
    
    filename_url=' ---------------文件在本地存放地址，且使用'/'分隔 -----------------'
    
    #读取单个工作簿（某一个sheet页）
    
       df_obj=pd.read_excel(filename_url,sheetname='--sheet页名字--')
    
       #获取查看数据类型
    
            print(type(df_obj))#得到数据类型为DataFrame类型
        
        #预览数据
    
            df_obj.head()
    
    #读取多个工作簿
    
       df_data=pd.read_excel(filename_url,sheetname=['sheet1','sheet2']
       
       #获取查看数据类型
       
            print(type(df_data))#得到的数据类型为OrderedDict
        
        #预览数据
           
            df_data['sheet1'].head()
            
            df_data['sheet2'].head()