Python与机器学习(二) Pandas库

最新推荐文章于 2022-02-02 00:21:01 发布
最新推荐文章于 2022-02-02 00:21:01 发布
阅读量452 收藏
点赞数
分类专栏： 机器学习 文章标签： python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/EatAnApple/article/details/78395817
版权
  • Pandas是数据再加工过程中使用的最广泛的工具，它包含为使数据分析更加快速便捷而设计的高级数据结构与数据操作工具。
  • Pandas基于NumPy开发，它不仅提供了很多方法和函数，使得处理数据更容易；而且它已经优化了运行速度，与使用Python内置函数进行数据处理相比，这个一个显著的优势。
  • NumPy、SciPy和Pandas三者构成了Python科学计算的支柱。

Series对象

  • Series对象除了支持使用位置作为下标存取元素之外，还可以使用索引标签作为下标存取元素，这个功能与Python的字典（dictionary）对象类似
  • 属性：index和values

DataFrame对象

创建对象
  • 指定全部数据+行索引+列名 
df = pd.DataFrame(np.random.randn(6,4), index = np.arange(0,6), columns = list("ABCD"))
  • 从字典转换得到，假如字典内的数据长度不同，以最长的数据为准

                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  EatAnApple
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
利用python进行数据分析学习笔记1(数据清洗和准备)

				
			

			

				

					jianwulongquan的博客
				

				

					06-24
					
					3267
					
				

			

		

		

			
				
处理缺失数据创建一个含缺失值的Seriesstring_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])
string_data.isnull()通过isnull方法返回一个布尔型Series，缺失值显示为True。通过索引可以将非缺失值设置为缺失值string_data[0] = None处理缺失数据的函数dropna，...

			
		

	



                

              
                



	

		

			

				
					
利用python进行数据分析学习笔记（2）

				
			

			

				

					weixin_40340586的博客
				

				

					08-10
					
					299
					
				

			

		

		

			
				
只是个人笔记，没有观赏价值。


'''
7.2 检测和过滤异常值
'''


data = pd.DataFrame(np.random.randn(1000, 4))
data.describe()

col = data[2]
col
col[np.abs(col) > 3]

data
data.head()
data.columnnames =['a', 'b', 'c', 'd']
###################
#  columnnames 不会改变列的名字， 那会改变什么呢？


			
		

	



                


  
              

                


	

		

			

				
					
Python数据分析实战-Pandas

				
			

			

				

					12-02
				

			

		

		

			
				
       Pandas包是基于Python平台的数据管理利器，已经成为了Python进行数据分析和挖掘时的数据基础平台和事实上的工业标准，掌握其使用方法，是使用Python进行数据分析和数据挖掘的必备条件。       本课程通过讲解Pandas基础知识、DataFrame核心分析方法，以一系列实操案例使你快速掌握数据获取，数据清洗与整理，数据分析        pandas是在python最直接最流行的数据处理框架。可以这么说，如果你不会使用pandas，那你就谈不上会用python做数据分析。所以，pandas的重要性是不言而喻的，不管是想做简单的做数据分析和预测，还是想做高端的机器学习，深度学习，我们都必须学习pandas。 这门课程目标是，高效快速的让大家在最短的时间内掌握好pandas这个在python数据分析中不可缺少的数据分析框架。 

			
		

	





	

		

			

				
					
pandas数据清洗之处理缺失、重复、异常数据

				
			

			

				

					学而思(xiejava的blog)
				

				

					02-02
					
					1万+
					
				

			

		

		

			
				
在数据分析和建模的过程中，有相当多的时间要用在数据准备上：加载、清理、转换以及重塑。这些工作会占到分析师时间的80%或更多。幸运的是pandas和内置的Python标准库提供了高效、灵活的工具可以帮助我们轻松的做这些事情。本文重点介绍通过pandas进行数据的清洗。数据处理中的清洗工作主要包括对需要分析的数据集中的缺失值（空值）、重复值、异常值的处理。

			
		

	



		

			
		



	

		

			

				
					
DataFrame中检测某行异常值

				
			

			

				

					gao_的博客
				

				

					11-04
					
					1939
					
				

			

		

		

			
				
col = data[3]
col[np.abs(col)>3]  #某行绝对值大于3的数
data[(np.abs(data)>3).any(1)]   #全部abs大于3的行和列，以下两种不可取
#data[np.abs(data)>3]
#data[data>3]
data[np.abs(data.ix[:,0])>3]    #可用，里面的过滤条件需针对某一行...

			
		

	





	

		

			

				
					
Python机器学习-Pandas.pdf

				
			

			

				

					03-19
				

			

		

		

			
				
Python机器学习领域广泛使用Pandas工具包，它是基于Numpy的扩展，专注于数据清洗、预处理和分析。Pandas提供了更加丰富的数据处理方法，特别是在数据预处理方面，比Numpy更加强大。在构建机器学习模型时，通常先使用...

			
		

	





	

		

			

				
					
机器学习 诊断型案例分析 python pandas

				
			

			

				

					03-21
				

			

		

		

			
				
python机器学习算法（Random Forest、LightGBM、XGBoost），pandas数据分析，完整的案例分析。 python机器学习算法（Random Forest、LightGBM、XGBoost），pandas数据分析。 完整的案例分析。包括：问题界定（议题树...

			
		

	





	

		

			

				
					
Python+Pandas+爬虫+机器学习

				
			

			

				

					06-11
				

			

		

		

			
				
在这个“Python+Pandas+爬虫+机器学习”的主题中，我们将深入探讨这些关键知识点，它们是现代数据分析和人工智能项目的基石。  首先，Python作为一门高级编程语言，其简洁的语法和强大的功能使其成为初学者和专业...

			
		

	





	

		

			

				
					
数据分析和机器学习库Pandas的使用.ipynb

					
最新发布

				
			

			

				

					03-24
				

			

		

		

			
				
Pandas 库是一个免费、开源的第三方 Python 库，是 Python 数据分析和机器学习的工具之一。Pandas 提供了两种数据结构，分别是 Series（一维数组结构）与 DataFrame（二维数组结构），极大地增强的了 Pandas 的数据...

			
		

	





	

		

			

				
					
Python机器学习编程与实战教学教案04pandas进阶.pdf

				
			

			

				

					04-04
				

			

		

		

			
				
在Python机器学习领域，pandas库是不可或缺的数据处理工具，尤其在数据分析和预处理阶段。本章主要聚焦于pandas的进阶应用，旨在帮助学习者深入理解和掌握其核心功能，为后续的机器学习实践奠定坚实的基础。  首先，...

			
		

	





	

		

			

				
					
利用python进行数据分析-数据规整化3

				
			

			

				

					zhuhengv的博客
				

				

					06-17
					
					2897
					
				

			

		

		

			
				
1.离散化和面元划分
为了便于分析，连续数据常常被离散化或拆分为“面元”
有一组人员年龄数据，希望将这些数据划分为“18到25”,“26到35”,“36到60”,“60以上”几个面元
ages=[20,22,25,27,21,23,37,31,61,45,41,32]
bins=[18,25,35,60,100]
cats=pd.cut(ages,bins)
print cats
结

			
		

	





	

		

			

				
					
protobuf指南

				
			

			

				

					百川
				

				

					09-04
					
					1775
					
				

			

		

		

			
				
转自：http://shitouer.cn/2013/04/google-protocol-buffers-tutorial/

1. 概述

前两篇文章，我们概括介绍《Google
 Protocol Buffers 概述》以及带领大家简单的《Google
 Protocol Buffers 入门》，接下来，再稍微详细一点介绍Protocol Buffers书写语言。该篇文章主要讲解

			
		

	





	

		

			

				
					
python 机器学习实战：信用卡欺诈异常值检测

				
			

			

				

					dengheCSDN的博客
				

				

					01-16
					
					1万+
					
				

			

		

		

			
				
今晚又实战了一个小案例，把它总结出来：有些人利用信用卡进行诈骗等活动，如何根据用户的行为，来判断该用户的信用卡账单涉嫌欺诈呢？数据集见及链接：  在这个数据集中，由于原始数据有一定的隐私，因此，每一列（即特征）的名称并没有给出。
    一开始，还是导入库：
import numpy as np
import pandas as pd
import matplotlib.pyplot as p

			
		

	





	

		

			

				
					
sklearn.datasets.base中Bunch类

				
			

			

				

					每天进步一点点2017
				

				

					06-25
					
					9541
					
				

			

		

		

			
				
Bunch和字典结构类似，也是又键值对组成，和字典区别：其键值可以被实例对象当作属性使用。
In [1]: from sklearn.datasets import base
   ...: buch = base.Bunch(A=1,B=2,c=3)
   ...:

In [2]: type(buch)
Out[2]: sklearn.datasets.base.Bunch

In [3]:

			
		

	





	

		

			

				
					
Pandas DataFrame中对异常值的处理

				
			

			

				

					jack的博客
				

				

					06-06
					
					2万+
					
				

			

		

		

			
				
一、前言
相信大多数朋友们在使用Pandas读取Excel数据（如csv文件）时，表格中往往含有异常的值。这些异常值通过包括三大类： None，null，NaN。但是None和null通常可以通过“==”来判断，相对比较简单，因此本文主要介绍对NaN异常值的处理。众所周知，NaN其实指的是 Not A Number，也就是说不是一个数。
二、判断是否含有 NaN
在Pandas DataFrame...

			
		

	





	

		

			

				
					
Pandas高阶篇六(数据的过滤和筛选)

				
			

			

				

					qq_42379006的博客
				

				

					06-25
					
					1万+
					
				

			

		

		

			
				
from pandas import Series,DataFrame
import pandas as pd
import numpy as np
from numpy import nan as NA 
from matplotlib import pyplot as plt
np.random.seed(12345)
data = np.random.randn(1000,4)  #1000...

			
		

	





	

		

			

				
					
pandas数据的异常值判断、可视化以及异常值的处理

					
热门推荐

				
			

			

				

					梁先森的博客
				

				

					02-17
					
					2万+
					
				

			

		

		

			
				
pandas数据的异常值判断、可视化、处理方式

回想一下我们小时候参加唱歌比赛，最后算分的时候总会去掉一个最高分，去掉一个最低分，将剩下的分数进行去平均。这里面就有筛选异常值的思想。一个非常夸张的异常值可能会造成对最后统计结果产生比较大的影响。所以，在这里，我们介绍两种办法来判断异常值，并使用箱线图进行显示。

异常值的判断
1、使用均值和标准差进行判断
mean 为数据的均值
std 为数据的...

			
		

	





	

		

			

				
					
python的pandas异常值处理（Z-score方法）

				
			

			

				

					huangguohui_123的博客
				

				

					04-13
					
					1万+
					
				

			

		

		

			
				
一、构建包含异常值的矩阵


import pandas as pd
import matplotlib.pyplot as plt
#构建包含异常值的矩阵
df=pd.DataFrame([[1,12],[120,17],[3,31],[5,53],[2,22],[12,32],[13,43]],columns=['col1','col2'])
df

输出：



二、画图


#散点图
p...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值