Python机器学习从入门到高级：导入数据（包含数据库连接）

最新推荐文章于 2024-08-30 22:55:34 发布
最新推荐文章于 2024-08-30 22:55:34 发布
阅读量1.3k 收藏 20
点赞数 18
文章标签： python 机器学习 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aobulaien001/article/details/135000371
版权

加载数据是我们进行数据分析的第一步，本文主要介绍以下几个常用的方面导入数据集

  • 加载scikit-learn中的数据集
  • 创建模拟数据集
  • 导入csv数据集
  • 导入excel数据集
  • 连接mysql数据库

🥇1.加载sklearn包中的数据集

sklearn是一个机器学习库，里面包含了许多机器学习数据集。例如：

  • load_boston 波士顿房价的观测值 用于研究回归算法

  • load_iris 150个花的数据，用于研究分类算法

  • load_digits 手写数字图片的观测值，用于研究图形分类算法的优质数据集

from sklearn import datasets


# 手写数字数据集
digits = datasets.load_digits()


# 创建特征向量
features = digits.data
# 创建目标向量
tatget = digits.target


features[0]


array([ 0.,  0.,  5., 13.,  9.,  1.,  0.,  0.,  0.,  0., 13., 15., 10.,
       15.,  5.,  0.,  0.,  3., 15.,  2.,  0., 11.,  8.,  0.,  0.,  4.,
       12.,  0.,  0.,  8.,  8.,  0.,  0.,  5.,  8.,  0.,  0.,  9.,  8.,
        0.,  0.,  4., 11.,  0.,  1., 12.,  7.,  0.,  0.,  2., 14.,  5.,
       10., 12.,  0.,  0.,  0.,  0.,  6., 13., 10.,  0.,  0.,  0.])

🥇2.创建模拟数据集

🥈2.1 回归数据集

下面我们通过make_regression来模拟一个回归数据集

from sklearn.datasets import make_regression
features, target, coefficients = make_regression(n_samples=100,
                                                 n_features=3,
                                                 n_informative=3,
                                                 n_targets=1,
                                                 noise=0,
                                                 coef=True,
                                                 random_state=1)


print('Featrue Matrix\n', features[:3])
print('Target Vector\n', target[:3])


Featrue Matrix
 [[ 1.29322588 -0.61736206 -0.11044703]
 [-2.793085    0.36633201  1.93752881]
 [ 0.80186103 -0.18656977  0.0465673 ]]
Target Vector
 [-10.37865986  25.5124503   19.67705609]

🥈2.2 分类模拟数据集

使用make_classification创建分类数据集

from sklearn.datasets import make_classification
features, target= make_classification(n_samples=100,
                                      n_features=3,
                                      n_informative=3,
                                      n_redundant=0,
                                      n_classes=2,
                                      weights=[.25, .75],
                                      random_state=1)


print('Featrue Matrix\n', features[:3])
print('Target Vector\n', target[:3])


Featrue Matrix
 [[ 1.06354768 -1.42632219  1.02163151]
 [ 0.23156977  1.49535261  0.33251578]
 [ 0.15972951  0.83533515 -0.40869554]]
Target Vector
 [1 0 0]


import matplotlib.pyplot as plt
%matplotlib inline


plt.scatter(features[:,0], features[:,1],c=target)

​
png ​

🥈2.3 聚类数据集

使用make_blobs创建聚类数据集

# 用于聚类
from sklearn.datasets import make_blobs
features, target = make_blobs(n_samples=100,
                              n_features=2,
                              centers=3,
                              cluster_std=0.5,
                              shuffle=True,
                              random_state=1)


print('Featrue Matrix\n', features[:3])
print('Target Vector\n', target[:3])


Featrue Matrix
 [[ -1.22685609   3.25572052]
 [ -9.57463218  -4.38310652]
 [-10.71976941  -4.20558148]]
Target Vector
 [0 1 1]


plt.scatter(features[:,0], features[:,1],c=target)

​
png ​

🥇3. 加载CSV文件

csv文件是我们在进行数据分析时最常用的数据格式。python中pandas库提供了非常简单的方法导入，具体如下

import pandas as pd 
file = r'C:\Users\DELL\Desktop\Statistic learning\ISLR\data\auto.csv'
df = pd.read_csv(file)
# 当数据没有表头时，设置header = None
df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

mpgcylindersdisplacementhorsepowerweightaccelerationyearoriginname
018.08307.0130350412.0701chevrolet chevelle malibu
115.08350.0165369311.5701buick skylark 320
218.08318.0150343611.0701plymouth satellite
316.08304.0150343312.0701amc rebel sst
417.08302.0140344910.5701ford torino

🥇4. 加载excel文件

url = r'C:\Users\DELL\Desktop\我的文件\学校课程\大三上复习资料\多元统计\例题数据及程序整理\例3-1.xlsx'
df = pd.read_excel(url,header=1)
#sheetname 表数据表所在的位置，如果加入多张数据表，可以把他们放在一个列表中一起传入
f
序号批发和零售业交通运输、仓储和邮政业住宿和餐饮业金融业房地产业水利、环境和公共设施管理业所属地区单位类型
0153918.031444.047300.038959.047123.035375.0北京集体
1261149.039936.045063.0116756.048572.047389.0上海集体
2334046.047754.039653.0111004.046593.037562.0江苏集体
3450269.051772.039072.0125483.056055.043525.0浙江集体
4527341.043153.040554.079899.044936.042788.0广东集体
56129199.090183.059309.0224305.080317.074290.0北京国有
6789668.0100042.064674.0208343.088977.077464.0上海国有
7869904.072784.045581.0105894.065904.059963.0江苏国有
89108473.086648.051239.0163834.069972.056899.0浙江国有
91063247.076359.052359.0138830.054179.047487.0广东国有
101193769.080563.050984.0248919.087522.073048.0北京其他
1112118433.099719.052295.0208705.082743.073241.0上海其他
121363340.065300.042071.0126708.067070.050145.0江苏其他
131461801.071794.041879.0125875.066284.052655.0浙江其他
141562271.080955.043174.0145913.068469.052324.0广东其他

🥇5. 查询SQL数据库

在实际业务分析中，很多时候数据都是存放在数据库中，因此，学会如何连接数据库是非常有必要的，之前介绍了如何使用R语言连接数据库，R语言连接mysql数据库，接下来我们看看如何使用python来连接数据库。首先需要安装pymysql包，pip install pymysql，具体使用代码如下

  • 导入相关库
impcort pandas as pd 
import pymysql
  • 连接mysql数据库，需要指定相关的参数
dbconn=pymysql.connect(
  host="localhost",
  database="test",#要连接的数据库
  user="root",
  password="密码",#密码
  port=3306,#端口号
  charset='utf8'
 )
  • 读取数据，通过read_sql可以实现在python中读取sql查询的结果,具体结果如下。
sql = "select * from goods;"
df = pd.read_sql(sql=sql, con=dbconn)
df

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

idcategory_idcategoryNAMEpricestockupper_time
011女装/女士精品T恤39.910002020-11-10
121女装/女士精品连衣裙79.925002020-11-10
231女装/女士精品卫衣89.915002020-11-10
341女装/女士精品牛仔裤89.935002020-11-10
451女装/女士精品百褶裙29.95002020-11-10
561女装/女士精品呢绒外套399.912002020-11-10
672户外运动自行车399.910002020-11-10
782户外运动山地自行车1399.925002020-11-10
892户外运动登山杖59.915002020-11-10
9102户外运动骑行装备399.935002020-11-10
10112户外运动运动外套799.95002020-11-10
11122户外运动滑板499.912002020-11-10

本章的介绍到此介绍，在后续我还会考虑介绍一些如何使用python进行特征工程、数据清洗、模型构建以及一些数据挖掘实战项目。大家多多点赞、收藏、评论、关注支持！！

---------------------------END---------------------------

题外话

在这里插入图片描述

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img

二、Python兼职渠道推荐*

学的同时助你创收，每天花1-2小时兼职，轻松稿定生活费.
在这里插入图片描述

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

img

👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

若有侵权，请联系删除

aobulaien001
关注
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
杨秀璋的专栏
07-03 4万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
Python机器学习：适合入门的8个项目
python2021_的博客
06-14 1583
再多的理论也不能代替动手实践。教科书和课程会让你误以为精通，因为材料就在你面前。但当你尝试去应用它时，可能会发现它比看起来更难。而「项目」可帮助你快速提高应用的 ML 技能，同时让你有机会探索有趣的主题。此外，你可以将项目添加到你的投资组合中，从而更轻松地找到工作，找到很酷的职业机会，甚至协商更高的薪水。在这篇文章中，我们将为初学者介绍 8 个有趣的机器学习项目。你可以在一个周末完成其中的任何一个，或者如果你很喜欢它们，可以将它扩展为更长的项目。我们亲切地称其为「机器学习角斗士」，但它并不新鲜。这是围绕机器
python之导入数据集
weixin_45919895的博客
11-23 2万+
csv文件 导入numpy和pandas库 #导入numpy和pandas库 import numpy as np import pandas as pd 从本地文件中载入数据 2.1.相对路径 #载入数据 #1.相对路径 df = pd.read_csv('train.csv') 2.2.绝对路径 #2.绝对路径 #在|前多加一个\；使用engine='python'打开路径中含有中文的文件 df = pd.read_csv('E:\\python_pycharm _file\\数据分析\\s
dataset，一个神奇的Python库！
黑马非马的博客
08-15 421
dataset是一个用于处理和操作数据库的 Python 库，它提供了简单直观的 API 来帮助程序员轻松地读取、写入和操作数据集。通过 ``dataset``，我们可以方便地处理 CSV、JSON、Excel 等多种数据格式，同时支持数据库连接和查询操作。
1.8数据集的导入
mayongkun的博客
09-12 1407
#数据的导入 可以使网上的， 可以使本地的 #涉及到数据的预处理 和 一些库的使用 # 使用两个例子 #第一个 是sklearn 的库 from sklearn import datasets iris = datasets.load_iris() print(len(iris.data)) 150 print(iris.data[0])# 花瓣和花萼的分别长宽 prin...
[导入]数据集的使用方法和技巧
weixin_30955617的博客
11-03 272
ADO.NET中最重要的一个概念就是数据集，它是ADO.NET区别于ADO的最重要的一个标志。它的出现使得对数据库的操作变成了真正意义上的无连接操作。在本次讲座中，我们将给大家全面介绍Dataset的基本用法和常见的一个使用技巧，相信对大家程序开发会起到很好的帮助作用。文章来源:http://www.microsoft.com/china/msdn/events/webcasts/shared/w...
Shape文件导入featuredataset要素数据集
默而识之者
03-23 4762
大体思路就是： 1.获取shape文件的空间参考，在mdb中根据该空间参考新建要素数据集： private void PRV_CreatFeatureDataset(string IN_FeatureDataSetName,string IN_ShapePath) { string Temp_Direction = System.IO.Path.Ge
《Python编程：从入门到实践》源代码文件
01-23
《Python编程：从入门到实践》是一本广受欢迎的Python编程教材，旨在帮助初学者掌握Python语言的基础知识，并通过实际项目提升编程技能。该书涵盖了从基础语法到高级特性的全面教程，同时还提供了丰富的实践项目，使...
Python数据分析实战与运用-从入门到实战
06-22
在Python中，Scikit-learn是一个广泛使用的机器学习库，包含了各种监督和无监督学习算法，如线性回归、逻辑回归、决策树、随机森林、支持向量机等，以及交叉验证、网格搜索等模型调优工具。此外，对于更复杂的数据...
2.CVAT—导入导出数据集并上传注释
ban102055的博客
02-27 2295
在任务或作业中，您可以上传注释。为此，请在任务菜单 Action 或作业 Menu 中选择项目 Upload annotation ， Top panel 选择您计划上传注释的格式，然后通过资源管理器选择注释文件或存档。然后回到任务面板，打开就可以看到已经标注好的结果了。Pascal VOC的xml格式的注释。在导入过程中，您将能够跟踪导入进度。从可用选项列表中选择对应的标签格式。标注文件的格式是打包压缩好的。coco的json格式的注释。从选择需要输出的标签格式。YOLO的txt格式的注释。
pytorch学习笔记（3）--数据集与数据导入（Datasets&DataLoaders）
Sophia_2019的博客
10-25 1878
Pytorch的datasets 和Dataloader
导入数据三种方式总结
weixin_43288804的博客
07-29 686
读取图数据的三种方式，根据不同的模型的需要调整
三分钟教你Python数据分析—数据导入，小白基础入门必看
weixin_55154866的博客
08-19 3382
今天我们来学习数据导入，需要使用到Pandas模块。模块相当于是一个文件夹，它能够用于存放同个主题相关的Python代码段，包括定义函数、类和变量。例如将数据处理相关的函数都存放在一个模块里，将数据分析相关的函数都存放在一个模块里，将数据可视化相关的函数都存放在一个模块里。这样就可以在其他有需要的地方进行调用，在编写程序的时候，经常需要引用其它模块。你可以将Excel菜单中的每个选项卡 看成是一个模块，例如数据选项卡下就包含了数据获取和转换、连接、排序和筛选、数据工具等功能。
Python中的sklearn入门
牛肉胡辣汤
10-20 1657
scikit-learn（简称sklearn）是一个广泛使用的Python机器学习库，它提供了丰富的功能和工具，用于数据挖掘和数据分析。它构建在NumPy，SciPy和matplotlib等科学计算库的基础上，使得使用者可以轻松地进行机器学习模型的构建、训练和评估等工作。本文将介绍sklearn库的基本概念和常用功能，并利用示例代码演示如何使用sklearn进行机器学习模型的训练和评估。
Python数据分析的数据导入和导出
最新发布
qq_74013365的博客
08-30 4870
数据分析的数据的导入和导出是数据分析流程中至关重要的两个环节，它们直接影响到数据分析的准确性和效率。在数据导入阶段，首先要确保数据的来源可靠、格式统一，并且能够满足分析需求。这通常涉及到数据清洗和预处理的工作，比如去除重复数据、处理缺失值、转换数据类型等，以确保数据的完整性和一致性。导入数据后，接下来就需要进行数据的探索和分析。在这一阶段，分析师会利用各种统计方法和可视化工具来揭示数据背后的规律和趋势。通过对数据的深入挖掘，可以发现隐藏在数据中的有用信息，为决策提供支持。
Python 导入数据（Pandas）
神仙别闹的自留地
11-22 3962
读取 Excel 文件时，首先 .xls 与 .xlsx 的格式不同，其次要考虑数据表带不带标题行，有时文件中还有多个工作表。读取文件时还会遇到数据缺失，非法字符。此外，对于大数据类的问题，所需处理的数据量可能非常大，必要时需对文件进行拆分或合并，也可以用 pandas 进行处理。常见的数据文件格式有文本文件（.txt）、Excel 文件（.xls, .xlsx）和 csv 文件（.csv）。对于文本文件 .txt 和 .dat，可以使用 pandas.read_table() 函数读取。
Python 中导入csv数据的三种方法
mafang9601的博客
05-10 6万+
1、通过标准的Python库导入CSV文件：Python提供了一个标准的类库CSV文件。这个类库中的reader()函数用来导入CSV文件。当CSV文件被读入后，可以利用这些数据生成一个NumPy数组，用来训练算法模型。：     from csv importreaderimport numpy as npfilename=input("请输入文件名： ")withopen(filename,'...
【Python处理EXCEL】基础操作篇：在Python中导入EXCEL数据
热门推荐
Deng333333555的博客
06-02 8万+
本篇是为python零基础数据分析的准备篇。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值