【python】数据处理基本操作---持续更新

文件导入数据

data = pd.read_csv(path,header,names=['','']     #返回DataFrame对象

#画图
data.plt(kind='scatter',x='',y='')       #scatter散点图
plt.show()

导入数据基本操作

str.strip('char')         用于移除字符串**头尾**指定的字符（默认为空格）或字符序列。
split()   分隔

Numpy

import numpy as np

np.r_[a,b] 
#是按行连接两个矩阵，就是把两矩阵上下相连，要求列数相等，类似于pandas中的 concat()。
np.c_[a,b] 
#是按列连接两个矩阵，就是把两矩阵左右相连，要求行数相等，类似于pandas中的 merge()。

判断符串中是否存在某个字符串

print(“ring” in “strings”) #True
print(“wow” in “amazing!”) #False
print(“Yes” in “yes!”) #False
print("" in “No way!”) #True

python读写文件

读写文件基本使用 with open…as…方式，这样子安全！

with open('path','method') as f:
	f.read()  #可读取整个文件,也可自行设置大小，如 f.read(100)
	f.readline()  #一次读取一行
	f.readlines()  #可读取整个文件，按行读取
	f.write(text)  #写入text内容
	f.close()   #关闭文件
	

method类型：

method	描述
r	打开一个文件用于只读。文件指针将会放在文件的开头。
rb	以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。
r+	打开一个文件用于读写。文件指针将会放在文件的开头。
rb+	以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
w	打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
wb	以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
w+	打开一个文件用于读写 。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
wb+	以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
a	打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。如果该文件不存在，创建新文件进行写入。
ab	以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。也就是说，新的内容将会被写入到已有内容之后。如果该文件不存在，创建新文件进行写入。
a+	打开一个文件用于读写。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，创建新文件用于读写。
ab+	以二进制格式打开一个文件用于追加。如果该文件已存在，文件指针将会放在文件的结尾。如果该文件不存在，创建新文件用于读写。

Json模块dumps、loads、dump、load函数

1、json.dumps()

用于将dict类型的数据转成str，因为如果直接将dict类型的数据写入json文件中会发生报错，因此在将数据写入时需要用到该函数。

import json

dict = {'a':'1111','b':'2222','c':'3333','d':'4444'} 
str = json.dumps(dict)
print(dict)
print(str)

#输出结果
{'a': '1111', 'c': '3333', 'b': '2222', 'd': '4444'}   #字典类型
{"a": "1111", "c": "3333", "b": "2222", "d": "4444"}   #字符串类型

2、json.loads()

用于将str类型的数据转成dict。

import json

dict1 = {'a':'1111','b':'2222','c':'3333','d':'4444'} 
str = json.dumps(dict)
dict2 = json.loads(dict1)

#输出结果，  'a'变成了u'a'是因为发生了类型转换，str会转换成unicode
{'a': '1111', 'c': '3333', 'b': '2222', 'd': '4444'}
{"a": "1111", "c": "3333", "b": "2222", "d": "4444"}
{u'a': u'1111', u'c': u'3333', u'b': u'2222', u'd': u'4444'}

附上python转换类型
…
…

3、json.dump()

用于将dict类型的数据转成str，并写入到json文件中。下面两种方法都可以将数据写入json文件

import json

#方法一：
str = json.dumps(dict)    
with open('file_name', "w") as f:  
    f.write(str) 
    
方法二：
json.dump(dict, open('file_name', "w"))

4、json.load()

从json文件中读取数据

import json

emb_filename = ('/home/cqh/faceData/emb_json.json')  
 
jsObj = json.load(open(emb_filename))    
 
print(jsObj)
print(type(jsObj))
 
for key in jsObj.keys():
    print('key: %s   value: %s' % (key,jsObj.get(key)))


#运行结果
{u'a': u'1111', u'c': u'3333', u'b': u'2222', u'd': u'4444'}
<type 'dict'>
key: a   value: 1111
key: c   value: 3333
key: b   value: 2222
key: d   value: 4444

HTTP 请求 requests

import requests,json

url = '...'
r = requests.get(url)   
data = json.dumps(r.json())  
 
print(type(r))                   #requests.models.Response类型
print(type(r.json()))                  #dict / list数据类型
print(type(data))                  #返回str数据类型
r.text     		#HTTP响应内容的字符串形式，即：url对应的页面内容	
r.content       #HTTP响应内容的二进制形式