Python机器学习从入门到高级：导入数据（包含数据库连接）

最新推荐文章于 2024-06-18 18:16:20 发布
最新推荐文章于 2024-06-18 18:16:20 发布
阅读量1.5k 收藏 34
点赞数 17
文章标签： python 机器学习 数据库 数据挖掘 开发语言 人工智能 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z099164/article/details/134874344
版权

加载数据是我们进行数据分析的第一步，本文主要介绍以下几个常用的方面导入数据集

  • 加载scikit-learn中的数据集
  • 创建模拟数据集
  • 导入csv数据集
  • 导入excel数据集
  • 连接mysql数据库

🥇1.加载sklearn包中的数据集

sklearn是一个机器学习库，里面包含了许多机器学习数据集。例如：

  • load_boston 波士顿房价的观测值 用于研究回归算法

  • load_iris 150个花的数据，用于研究分类算法

  • load_digits 手写数字图片的观测值，用于研究图形分类算法的优质数据集

from sklearn import datasets


# 手写数字数据集
digits = datasets.load_digits()


# 创建特征向量
features = digits.data
# 创建目标向量
tatget = digits.target


features[0]


array([ 0.,  0.,  5., 13.,  9.,  1.,  0.,  0.,  0.,  0., 13., 15., 10.,
       15.,  5.,  0.,  0.,  3., 15.,  2.,  0., 11.,  8.,  0.,  0.,  4.,
       12.,  0.,  0.,  8.,  8.,  0.,  0.,  5.,  8.,  0.,  0.,  9.,  8.,
        0.,  0.,  4., 11.,  0.,  1., 12.,  7.,  0.,  0.,  2., 14.,  5.,
       10., 12.,  0.,  0.,  0.,  0.,  6., 13., 10.,  0.,  0.,  0.])

🥇2.创建模拟数据集

🥈2.1 回归数据集

下面我们通过make_regression来模拟一个回归数据集

from sklearn.datasets import make_regression
features, target, coefficients = make_regression(n_samples=100,
                                                 n_features=3,
                                                 n_informative=3,
                                                 n_targets=1,
                                                 noise=0,
                                                 coef=True,
                                                 random_state=1)


print('Featrue Matrix\n', features[:3])
print('Target Vector\n', target[:3])


Featrue Matrix
 [[ 1.29322588 -0.61736206 -0.11044703]
 [-2.793085    0.36633201  1.93752881]
 [ 0.80186103 -0.18656977  0.0465673 ]]
Target Vector
 [-10.37865986  25.5124503   19.67705609]

🥈2.2 分类模拟数据集

使用make_classification创建分类数据集

from sklearn.datasets import make_classification
features, target= make_classification(n_samples=100,
                                      n_features=3,
                                      n_informative=3,
                                      n_redundant=0,
                                      n_classes=2,
                                      weights=[.25, .75],
                                      random_state=1)


print('Featrue Matrix\n', features[:3])
print('Target Vector\n', target[:3])


Featrue Matrix
 [[ 1.06354768 -1.42632219  1.02163151]
 [ 0.23156977  1.49535261  0.33251578]
 [ 0.15972951  0.83533515 -0.40869554]]
Target Vector
 [1 0 0]


import matplotlib.pyplot as plt
%matplotlib inline


plt.scatter(features[:,0], features[:,1],c=target)

​
png ​

🥈2.3 聚类数据集

使用make_blobs创建聚类数据集

# 用于聚类
from sklearn.datasets import make_blobs
features, target = make_blobs(n_samples=100,
                              n_features=2,
                              centers=3,
                              cluster_std=0.5,
                              shuffle=True,
                              random_state=1)


print('Featrue Matrix\n', features[:3])
print('Target Vector\n', target[:3])


Featrue Matrix
 [[ -1.22685609   3.25572052]
 [ -9.57463218  -4.38310652]
 [-10.71976941  -4.20558148]]
Target Vector
 [0 1 1]


plt.scatter(features[:,0], features[:,1],c=target)

​
png ​

🥇3. 加载CSV文件

csv文件是我们在进行数据分析时最常用的数据格式。python中pandas库提供了非常简单的方法导入，具体如下

import pandas as pd 
file = r'C:\Users\DELL\Desktop\Statistic learning\ISLR\data\auto.csv'
df = pd.read_csv(file)
# 当数据没有表头时，设置header = None
df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

mpgcylindersdisplacementhorsepowerweightaccelerationyearoriginname
018.08307.0130350412.0701chevrolet chevelle malibu
115.08350.0165369311.5701buick skylark 320
218.08318.0150343611.0701plymouth satellite
316.08304.0150343312.0701amc rebel sst
417.08302.0140344910.5701ford torino

🥇4. 加载excel文件

url = r'C:\Users\DELL\Desktop\我的文件\学校课程\大三上复习资料\多元统计\例题数据及程序整理\例3-1.xlsx'
df = pd.read_excel(url,header=1)
#sheetname 表数据表所在的位置，如果加入多张数据表，可以把他们放在一个列表中一起传入
f
序号批发和零售业交通运输、仓储和邮政业住宿和餐饮业金融业房地产业水利、环境和公共设施管理业所属地区单位类型
0153918.031444.047300.038959.047123.035375.0北京集体
1261149.039936.045063.0116756.048572.047389.0上海集体
2334046.047754.039653.0111004.046593.037562.0江苏集体
3450269.051772.039072.0125483.056055.043525.0浙江集体
4527341.043153.040554.079899.044936.042788.0广东集体
56129199.090183.059309.0224305.080317.074290.0北京国有
6789668.0100042.064674.0208343.088977.077464.0上海国有
7869904.072784.045581.0105894.065904.059963.0江苏国有
89108473.086648.051239.0163834.069972.056899.0浙江国有
91063247.076359.052359.0138830.054179.047487.0广东国有
101193769.080563.050984.0248919.087522.073048.0北京其他
1112118433.099719.052295.0208705.082743.073241.0上海其他
121363340.065300.042071.0126708.067070.050145.0江苏其他
131461801.071794.041879.0125875.066284.052655.0浙江其他
141562271.080955.043174.0145913.068469.052324.0广东其他

🥇5. 查询SQL数据库

在实际业务分析中，很多时候数据都是存放在数据库中，因此，学会如何连接数据库是非常有必要的，之前介绍了如何使用R语言连接数据库，R语言连接mysql数据库，接下来我们看看如何使用python来连接数据库。首先需要安装pymysql包，pip install pymysql，具体使用代码如下

  • 导入相关库
impcort pandas as pd 
import pymysql
  • 连接mysql数据库，需要指定相关的参数
dbconn=pymysql.connect(
  host="localhost",
  database="test",#要连接的数据库
  user="root",
  password="密码",#密码
  port=3306,#端口号
  charset='utf8'
 )
  • 读取数据，通过read_sql可以实现在python中读取sql查询的结果,具体结果如下。
sql = "select * from goods;"
df = pd.read_sql(sql=sql, con=dbconn)
df

.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

idcategory_idcategoryNAMEpricestockupper_time
011女装/女士精品T恤39.910002020-11-10
121女装/女士精品连衣裙79.925002020-11-10
231女装/女士精品卫衣89.915002020-11-10
341女装/女士精品牛仔裤89.935002020-11-10
451女装/女士精品百褶裙29.95002020-11-10
561女装/女士精品呢绒外套399.912002020-11-10
672户外运动自行车399.910002020-11-10
782户外运动山地自行车1399.925002020-11-10
892户外运动登山杖59.915002020-11-10
9102户外运动骑行装备399.935002020-11-10
10112户外运动运动外套799.95002020-11-10
11122户外运动滑板499.912002020-11-10

本章的介绍到此介绍，在后续我还会考虑介绍一些如何使用python进行特征工程、数据清洗、模型构建以及一些数据挖掘实战项目。大家多多点赞、收藏、评论、关注支持！！

如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓
Python全套学习资料

在这里插入图片描述

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~
在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！
在这里插入图片描述

2️⃣国内外Python书籍、文档

① 文档和书籍资料

在这里插入图片描述

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！
在这里插入图片描述

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！
在这里插入图片描述

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！
在这里插入图片描述

4️⃣Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述
在这里插入图片描述

5️⃣Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。
在这里插入图片描述

上述所有资料 ⚡️ ，朋友们如果有需要的，可以扫描下方👇👇👇二维码免费领取🆓
在这里插入图片描述

程序员小八
关注
  • 17
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python中的sklearn入门
牛肉胡辣汤
10-20 1609
scikit-learn（简称sklearn）是一个广泛使用的Python机器学习库，它提供了丰富的功能和工具，用于数据挖掘和数据分析。它构建在NumPy，SciPy和matplotlib等科学计算库的基础上，使得使用者可以轻松地进行机器学习模型的构建、训练和评估等工作。本文将介绍sklearn库的基本概念和常用功能，并利用示例代码演示如何使用sklearn进行机器学习模型的训练和评估。
探索 Scikit-learn：Python 机器学习初级篇
小小张说故事的博客
07-18 3349
Scikit-learn 是 Python 中最著名的机器学习库之一，它提供了大量实用的机器学习算法以及相关的工具，可以方便我们进行数据挖掘和数据分析。在这篇文章中，我们将介绍 Scikit-learn 的基本使用，包括如何导入数据、预处理数据、选择和训练模型，以及评估模型的性能。
001-基于Sklearn的机器学习入门：数据处理与Sklearn标准数据集
最新发布
ahhjian的专栏
06-18 153
该数据集包含了 506 个波士顿地区的房屋数据，其中每个数据点都有 13 个变量（例如犯罪率、房产税率、房间数量等）和一个目标变量（房屋价格的中位数）。该数据集最初由 Harrison, D. 和 Rubinfeld, D.L. 在 1978 年发布。本节将介绍Sklearn库基本功能，以及其自带的几个标准数据集的调用方法。本节是学习后面内容的基础，如果您已经对本节内容相当熟悉，可跳过本节内容。Sklearn自带许多标准数据集，这些数据集从简单到复杂，可用于机器学习的各个领域。（1）波士顿房价数据集。
python之导入数据集
weixin_45919895的博客
11-23 2万+
csv文件 导入numpy和pandas库 #导入numpy和pandas库 import numpy as np import pandas as pd 从本地文件中载入数据 2.1.相对路径 #载入数据 #1.相对路径 df = pd.read_csv('train.csv') 2.2.绝对路径 #2.绝对路径 #在|前多加一个\；使用engine='python'打开路径中含有中文的文件 df = pd.read_csv('E:\\python_pycharm _file\\数据分析\\s
导入数据三种方式总结
weixin_43288804的博客
07-29 672
读取图数据的三种方式，根据不同的模型的需要调整
常见的python连接数据库包
haozi的博客
11-23 3105
在日常的工作学习中，重复的在数据库中抽取数据，然后使用python读取处理，不仅繁琐，且效率低下。那么如果有条件直接使用python读取数据，效率就会有明显提高。同时在一些公司，为了某些数据的保密性，使用线上数据线上处理也变的比较流行了。 下面汇总了一些常见的数据库连接使用方法，希望可以在一定程度上帮助大家。 常见的数据库及连接包 下表中是常用的数据库及连接表使用的包: 数据库 连接数据库python包 hive pyhive或impyla mysql PyMySQL oracle
《Python编程：从入门到实践》源代码文件
01-23
《Python编程：从入门到实践》是一本广受欢迎的Python编程教材，旨在帮助初学者掌握Python语言的基础知识，并通过实际项目提升编程技能。该书涵盖了从基础语法到高级特性的全面教程，同时还提供了丰富的实践项目，使...
Python数据分析实战与运用-从入门到实战
06-22
在Python中，Scikit-learn是一个广泛使用的机器学习库，包含了各种监督和无监督学习算法，如线性回归、逻辑回归、决策树、随机森林、支持向量机等，以及交叉验证、网格搜索等模型调优工具。此外，对于更复杂的数据...
Python资源推荐：从入门到进阶.zip
05-24
本资源包"Python资源推荐：从入门到进阶.zip"显然是为了帮助学习者系统地掌握Python编程，从基础知识开始，逐步提升至高级技巧。 首先，让我们从入门知识开始。Python的基础包括变量、数据类型（如整型、浮点型、...
Python快速入门-连接数据源
09-16
本篇将深入讲解如何使用Python快速入门，特别是对于初学者来说，如何连接和处理数据源，尤其是CSV、Excel和JSON格式的数据。 6.1 导入CSV数据 CSV（Comma-Separated Values）文件是一种常见的数据存储格式，因其...
决策树使用全流程概述（sklearn)
cjhcjq122108的博客
03-20 572
首先我们导入sklearn库中内置数据库，并将参数as_frame设置为True。这样jupyter中输出的格式好看点。返回值为字典，我们可以查看一下数据。
机器学习实战----SKLearn实现SVM
bailixuance的博客
12-16 1655
  一、简介 win10, notebook ,python 3.6   支持向量机总结 我们在这里看到了支持向量机背后的原则的简单直观的介绍。这些方法是强大的分类方法，原因有很多： 他们依赖相对较少的支持向量，意味着它们是非常紧凑的模型，并且占用很少的内存。 一旦训练了模型，预测阶段非常快。 因为它们仅受边缘附近的点的影响，它们适用于高维数据，甚至维度大于样本的数据，这对于其他算...
sklearn 的导入
lllllolink的博客
05-18 497
不要 pip install sklearn。
sklearn-导入数据(第1讲)
tcy-阿春
05-27 7492
导入数据 2020/5/27 ================================================================================= 1.1.sklearn中导入数据方法有:pandas.read_csv,np.loadtxt,python csv.reader 1.2.sklearn中数据多为numpy 2D,1D,pd.Series,pd.DataFrame,list ===============================.
三分钟教你Python数据分析—数据导入，小白基础入门必看
weixin_55154866的博客
08-19 3209
今天我们来学习数据导入，需要使用到Pandas模块。模块相当于是一个文件夹，它能够用于存放同个主题相关的Python代码段，包括定义函数、类和变量。例如将数据处理相关的函数都存放在一个模块里，将数据分析相关的函数都存放在一个模块里，将数据可视化相关的函数都存放在一个模块里。这样就可以在其他有需要的地方进行调用，在编写程序的时候，经常需要引用其它模块。你可以将Excel菜单中的每个选项卡 看成是一个模块，例如数据选项卡下就包含了数据获取和转换、连接、排序和筛选、数据工具等功能。
python之sklearn学习笔记
热门推荐
一个人漫步走
12-21 4万+
前言：本文是学习笔记。sklearn介绍scikit-learn是数据挖掘与分析的简单而有效的工具。 依赖于NumPy， SciPy和matplotlib。它主要包含以下几部分内容： 从功能来分： classification Regression Clustering Dimensionality reduction Model selection Preprocessing 从API模块来分
Python 导入数据（Pandas）
神仙别闹的自留地
11-22 3932
读取 Excel 文件时，首先 .xls 与 .xlsx 的格式不同，其次要考虑数据表带不带标题行，有时文件中还有多个工作表。读取文件时还会遇到数据缺失，非法字符。此外，对于大数据类的问题，所需处理的数据量可能非常大，必要时需对文件进行拆分或合并，也可以用 pandas 进行处理。常见的数据文件格式有文本文件（.txt）、Excel 文件（.xls, .xlsx）和 csv 文件（.csv）。对于文本文件 .txt 和 .dat，可以使用 pandas.read_table() 函数读取。
sklearn库的基本使用
ifhuke的博客
09-22 4118
sklearn库的基本使用，超参数优化，网格搜索，二分类、多分类、回归问题判定指标
Python编程：从入门到高级数据分析
"Python入门到高级教程" Python是一种高级编程语言，以其简洁明了的语法和强大的功能而受到广泛欢迎。本教程涵盖了从Python基础到高级主题的全面学习路径，适合初学者和有一定经验的开发者进阶提升。 在第一章中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值