![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python数据分析与处理
文章平均质量分 59
贪狼切
这个作者很懒,什么都没留下…
展开
-
python杂记与dataframe常见操作(筛选,groupby,str.contain,时间差)
black_list = df_filter.query(“is_black_x == ‘1’”)[‘open_id_x’].unique().tolist()nan与none相关#1 查看含有nan的行df[df.isna().any(axis=1)]删除有nan的行df.drop(df[np.isnan(df.group_click_num)&np.isnan(df.individual_click_num)].index, inplace=True)#判断每列是否有缺失指data原创 2021-08-22 18:01:32 · 3288 阅读 · 0 评论 -
torch.Tensor的4种乘法
torch.Tensor的4种乘法 [转载至](https://blog.csdn.net/da_kao_la/article/details/87484403) torch.Tensor有4种常见的乘法:*, torch.mul, torch.mm, torch...转载 2021-08-22 11:06:21 · 1783 阅读 · 0 评论 -
python中dataframe常见操作(二):筛选,修改索引,判断是否为空,及删除NAN所在行
这是 [python中dataframe常见操作:取行、列、切片、统计特征值]的延续(https://blog.csdn.net/tanlangqie/article/details/78656588). ```javascript // An highlighted block var foo = 'bar'; ```原创 2019-12-16 15:33:02 · 3857 阅读 · 0 评论 -
python-dataframe数据预处理(二)之txt数据集文件合并
# -*- coding: utf-8 -*-'''有data1、data2、data3三个csv文件,分别存放了三个类别的点数据。一行为一个数据,一列为一个特征,数据共46列,1-45为特征,46列为标签。此文件完成数据合并功能,将三个类别的数据合成一个数组,然后在按比例划分出训练集和测试集。对x进行数据整体归一化对y进行one-hot编码转换,以供机器学习分类使用'''impor...原创 2018-05-27 18:59:01 · 1607 阅读 · 0 评论 -
利用python的jieba库、wordcloud库,实现中英文文本的快速分词(代码详解版)
本文实现对中英文文本的快速分词,其中环境为:py3.5 + jieba +wordcloud 这两个库。其中jieba可通过 pip install jieba 直接安装。wordcloud通过whl形式安装,whl文件所在网站为:wordloud.whl文件在这个网站中自己下载贴出我的项目文件夹构成,方便理解代码: # - * - coding: utf - 8 -*-#fun: 利...原创 2018-05-29 11:17:49 · 15233 阅读 · 1 评论 -
python中将多个列表转成dataframe
Python中将列表转换成为数据框有两种情况:第一种是两个不同列表转换成一个数据框,第二种是一个包含不同子列表的列表转换成为数据框。 第一种:两个不同列表转换成为数据框from pandas.core.frame import DataFramea=[1,2,3,4]#列表ab=[5,6,...转载 2018-07-01 15:52:37 · 47325 阅读 · 4 评论 -
python中dataframe的拼接操作——merge、join、concat实例详解
merge 通过键拼接列pandas提供了一个类似于关系数据库的连接(join)操作的方法<Strong>merage</Strong>,可以根据一个或多个键将不同DataFrame中的行连接起来语法如下merge(left, rig...转载 2018-08-13 12:09:41 · 20873 阅读 · 1 评论 -
python中利用pandas进行简单绘图
Series和DataFrame都有一个用于生成各种类图表的plot方法。默认情况下,他们所生成的是线形图。import pandas as pdimport numpy as nps = pd.Series(np.random.rand(10).cumsum(),index=np.arange(0,100,10))%matplotlib inline #在jupyter not...原创 2018-08-24 11:58:33 · 1239 阅读 · 0 评论 -
用python统计一段文本中各个单词出现的频率
在之前的博客中实现了—–python中统计列表list、dataframe以及Series中的不重复元素及其相应个数 这篇博客作为他的姊妹篇,用python统计一段文本中各个单词出现的频率。偷个懒直接上图片,代码木有自己敲。 ...原创 2018-09-13 16:29:19 · 7706 阅读 · 0 评论 -
创建空的array/DataFrame,按照指定格式往里面添加数据实例
在机器学习与深度学习的数据预处理环节,经常会遇到将所有训练集格式化为二维数组的形式,一行一样本,一列一特征。借助python可以逐行构建数组。import numpy as npdata = np.float32([]).reshape(0,3) #加入有3个特征fes = [1,2,3]data = np.append(data,np.asarray(fes).resha...原创 2018-11-06 22:11:10 · 2840 阅读 · 0 评论 -
python中利用numpy求解多项式以及多项式拟合
构建一个二阶多项式:x^2 - 4x + 3多项式求解>>> p = np.poly1d([1,-4,3]) #二阶多项式系数>>> p(0) #自变量为0时多项式的值3>>> p.roots #多项式的...原创 2019-01-14 11:30:47 · 16263 阅读 · 2 评论 -
pythpython-dataframe数据预处理(一)之txt数据集文件分割
'''fun: 一个txt文件a有x行,y列。一行代表一个样本,第1-(y-1)代表特征,第y列代表样本的类别(即标签例如有c1/c2/c3三个类别),此代码依据样本的标签列,将a.txt分割成 c1.txt、 c2.txt、 c3.txt。'''# -*- coding: utf-8 -*-import pandas as pdimport numpy as npfeature...原创 2018-05-27 18:52:18 · 2308 阅读 · 0 评论 -
python中数据拼接的集中操作
数组拼接方法一思路:首先将数组转成列表,然后利用列表的拼接函数append()、extend()等进行拼接处理,最后将列表转成数组。示例1:>>> import numpy as np>>> a=np.array([1,2,5])>>> b=np.array([10,12,...转载 2018-03-30 15:09:05 · 2625 阅读 · 0 评论 -
利用python求积分
python的numpy库集成了很多的函数。利用其中的函数可以很方便的解决一些数学问题。本篇介绍如何使用python的numpy来求解积分。代码如下:# -*- coding: utf-8 -*-import numpy as npfrom scipy.integrate import quad,dblquad,nquaddef main(): print qua原创 2017-10-15 19:50:15 · 44928 阅读 · 4 评论 -
python中xlrd模块导入Excel文件
import xlrd #导入读Excel的包f = xlrd.open_workbook(r'E:\pypractice\Yun\doc\a.xlsx') #打开一个工作簿table = f.sheets()[0] #选取Excel中的第一张表格nrows = table.nrows # 获取行数ncols = table.ncols原创 2017-11-28 14:54:39 · 1209 阅读 · 0 评论 -
python中range, xrange, arange的区别与应用示例
python中range, xrange, arange的区别与应用示例原创 2017-11-19 16:48:36 · 368 阅读 · 0 评论 -
python中创建dataframe数据,并将其转换成矩阵,对矩阵进行添加行列操作
# -*- coding: utf-8 -*-import numpy as npfrom numpy import *nx = np.array([[1,2,3],[4,5,6],[7,8,9]])m=np.array([8,8,8])a=np.row_stack((nx,[8,8,8])) #nx=np.row_stack((nx,m)) 给矩阵加一行a = n...原创 2017-11-28 22:19:08 · 29283 阅读 · 1 评论 -
python中统计列表list、dataframe以及Series中的不重复元素及其相应个数
方法1#say为所要统计的列表mylist = set(say) #将列表中的元素无重复的抽取出来,赋值给另一个列表for item in mylist: print item + str( say.count(item)) #list.count(item) 输出item在list中出现的次数方法2counts = { } ...原创 2017-12-08 21:18:49 · 36735 阅读 · 2 评论 -
python中dataframe常见操作:取行、列、切片、统计特征值
python中dataframe常见操作:取行数、列数、切片、统计特征值原创 2017-11-28 17:10:43 · 252814 阅读 · 7 评论 -
python中groupby()函数讲解与示例
python中groupby()函数讲解与示例原创 2017-12-10 10:15:50 · 55822 阅读 · 1 评论 -
python sort、sort_index方法(排序)
python中sort,sort_index(0方法原创 2017-12-10 10:51:24 · 613 阅读 · 0 评论 -
利用python进行数据分析之dataframe的常见操作
利用python做数据分析之dataframe常用功能——查找行列,切片,索引,分类,画图等等转载 2017-12-10 14:57:05 · 7831 阅读 · 0 评论 -
python导入TXT、Excel、csv文件
import pandas as pd import numpy as np import csvdata = pd.read_csv(r’E:\pypractice\Yun\doc\aa.txt’) #用pd.read_csv也可导入TXT文件 print data[“岩性”] #岩性为列的名称部分输出结果如下所示: 0 砂砾石、细粒粉砂原创 2017-11-27 22:00:00 · 572 阅读 · 0 评论 -
利用python做矩阵的简单运算(行列式、特征值、特征向量等的求解)
利用python可以简单的处理矩阵问题。一下是对矩阵的一些简单运算,例如:求解矩阵的逆矩阵、行列式、特征值与特征向量以及方程组的求解。代码以及结果如下所示:#-*- coding:utf-8 -*-import numpy as npfrom numpy.linalg import *def main(): lis = np.array([[1,2],原创 2017-10-15 11:45:40 · 25158 阅读 · 0 评论