python数据分析:数据拆分,数据合并,数据筛选

本文介绍了Python进行数据分析的基础操作,包括从Excel、CSV等文件中读取数据,处理编码问题,数据导出,去除重复数据,数据字段拆分以及数据筛选和合并。重点讲解了pandas库中的read_table、read_excel、read_csv等函数的使用,并强调了在处理大规模数据时的注意事项。
摘要由CSDN通过智能技术生成

#基于Python的数据分析
#1:为什么要进行数据分析
#简答:人工智能、大数据等数据的采集需要数据----数据通过Python分析
# 而来------进行数据的清洗操作-----建立数据模型Model------生成一个目标数据
#-----通过目标数据----预测未来----得到结果

#:2 企业数据存在的形成
#(1):存在于 “文件 ” 例如:excel word csv txt…
# (2):数据库 例如:mysql Oracle DB2 SQLserver…
#:3:数据解析 之 read_table read_excel

(1):在数据分析里面分析读取文本数据用 :
from pandas import read_table
read_table —也可以快速的读取大数据、海量数据、
人工智能的数据集
from pandas import read_excel
read_excel----是指定读取excel类型的数据。
传统的大数据开发就是在excel里面进行数据分析,所excel
方法可以处理大数据库~
(2):在以上2个方法里面。可以通过names属性给列起名称,方便数据的读取!
通过sep分隔数据!
(3):导入csv文件类型

i:处理数据的编码格式的方法
通过EditsPlus 或者 UE开发工具可以进行编码的切换!—开发天天使用。
思考?老师可以利用代码转码,----提问?如果有1000万 10亿条数据呢?
对于大数据的数据集不能利用转码的代码机制去直接转码,这样导致服务器、
数据等发生异常情况!----建议使用第三方工具直接操作数据集—面试问!
ii:
from pandas import read_csv
导入csv的文件需要通过 read_csv
思考?csv 和 word excel wps、txt等哪个处理数据集更好?
#CSv自身可以处理编码问题
pd8=read_csv(‘d:/pythondata01/1.csv’,encoding=‘utf-8’)
#总结: read_table /excel/csv 等,全部返回值是DataFrame类型
#:导包的/导模块的区别
from pandas import DataFrame#建议用什么module导入什么模块即可!
import pandas as pd#导入的是pnadas里面的所有module,Python解析器解析速度慢,在工作里面编码规范不要求这样大量写

iii: #导出数据
df.to_csv(‘d:/pythondata01/hello.csv’)
#思考?此代码除了将数据导出之外,还有什么特性?to_csv可以自动创建文件
还有什么特性?
df.to_csv(‘d:/pythondata01/mysql.csv’)

备注:to_csv 不仅仅可以自动创建数据文件,也可以将手动创建的文件,通过数据存放到文件里面!
建议大量使用!安全、数据维护简单!
(4):

    df.to_csv('d:/pythondata01/hello.txt') #导出txt
#导出数据
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值