python加载csv数据

入门机器学习时,一些测试数据是网络上的csv文件。这里总结了两种加载csv文件的方式:

 

1 通过numpy、urllib2加载

import numpy as np
import urllib2

url = "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data"
raw_data = urllib2.urlopen(url)
dataset = np.loadtxt(raw_data, delimiter=",")
X = dataset[:, 0:7]
y = dataset[:, 8]

2 通过pandas加载

import pandas as pd
url
= "http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data" dataFrame = pd.read_csv(url, header=None) dataset = dataFrame.values X = dataset[:, 0:7] y = dataset[:, 8]

3 总结

  • np.loadtxt返回的数据类型是:numpy.ndarray
  • pd.read_csv返回的数据类型是:pandas.core.frame.DataFrame
  • DataFrame.values的类型是:numpy.ndarray
  • 所以,本质上,两种方法最后是一样的

转载于:https://www.cnblogs.com/zc9527/p/6286621.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中,将CSV数据导入MySQL数据库通常涉及两个主要步骤:首先读取CSV文件,然后使用Python的SQL库(如`pandas`和`mysql-connector-python`)将数据插入到MySQL表中。以下是简要的步骤: 1. **安装必要的库**: 首先确保已安装`pandas`用于处理CSV文件和`mysql-connector-python`用于数据库操作。如果没有,可以通过pip安装: ```bash pip install pandas mysql-connector-python ``` 2. **读取CSV文件**: 使用`pandas`的`read_csv`函数加载CSV数据: ```python import pandas as pd csv_data = pd.read_csv('your_file.csv') # 替换为你的CSV文件路径 ``` 3. **连接到MySQL数据库**: ```python import mysql.connector cnx = mysql.connector.connect( host='your_host', user='your_username', password='your_password', database='your_database' ) ``` 将`your_host`, `your_username`, `your_password`, 和 `your_database`替换为实际的数据库连接信息。 4. **创建或选择表**: 如果表不存在,先创建;如果存在,选择它: ```python cursor = cnx.cursor() if not exists_table_query: # 根据实际情况编写检查表是否存在或创建表的SQL create_table_sql = 'CREATE TABLE your_table_name (columns...)' cursor.execute(create_table_sql) cursor.execute('USE your_database') ``` 5. **插入数据**: 使用`cursor`对象执行SQL INSERT语句: ```python columns = ', '.join(csv_data.columns) placeholders = ', '.join('%s' for _ in csv_data.columns) insert_query = f"INSERT INTO your_table_name ({columns}) VALUES ({placeholders})" data_to_insert = [tuple(row) for row in csv_data.values] cursor.executemany(insert_query, data_to_insert) ``` 6. **提交事务并关闭连接**: ```python cnx.commit() cursor.close() cnx.close() ``` 完成以上步骤后,CSV数据就成功导入到MySQL数据库了。如果你需要定期进行此操作,还可以考虑编写脚本或者使用更高级的数据处理工具(如`sqlalchemy`)。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值