本篇适合刚入门Python、已经学习了一些基础,想要关联学习数据库相关操作的朋友们~
先前听到一些朋友的反馈说,Python语言本身是很轻松地入门了,
但在做数据储存的时候,
比如做爬虫爬取到的数据,想要把暂时保存在内存中的数据永久保存起来,
究竟往哪存,怎么存,就有些困惑了。
“with open()”存到本地文件是相对简单的处理,
爬取到的数据大多是结构化的,直接存取文件可能不是效率最高的方法,
但面对数据库,了解到使用数据库的优点之后,
总会感觉与数据库之间似乎还隔了一层神秘面纱,有些难入门。
其实细说下来,也不过如此,本篇会循序递进跟大伙儿聊聊实战经验,
练习实际操作,然后发出**“so easy!”**的感叹~
看过我图文的朋友大概会了解,是比较倾向于**“授之以渔”**的,
本篇也一样,除了说说关键点外,
会给很多资料传送门,明确方向方便大伙儿深入了解。
咱话不多说,直接进入主题吧!
在实操之前,我们稍微先提一下环境配置什么的。
这里建议大伙儿测试的时候搭配使用Anaconda 3
(之前发的图文《 安装环境配置,以及如何编译exe可执行程序(上篇) - Python高手成长路(系列)(第1阶段) 》可以参考),
使用里面自带的一款非常方便学习测试的IDE,叫 Jupyter Notebook(以下简称Notebook)。
图:Jupyter Notebook 的Logo
我能想到的用Jupyter Notebook练习的好处:
· 可以交互式操作,输入一段运行立即能得到运行结果,也能一直保留运行时的内存数据
· 同个笔记文件中,每段代码的运行结果都可以随时保存起来,下次再打开时也可以查看结果内容
· 对比官方原版搭配的IDLE,它界面流畅,而且操作上方便太多,而且还有能写Markdown、显示图表图像等等的加分功能
· 除了默认支持的Python外,还支持R、Julia、Scala等40多款程序语言(支持列表传送门:https://github.com/jupyter/jupyter/wiki/Jupyter-kernels )
但Jupyter Notebook它也是有缺点的:
· 运行起来可能不是特别快速,虽然做机器学习研究等等一些情景下用它会很方便,但由于软件是前后端分离的形式,后端回传结果到前端网页的过程有一定的性能损失
· 不太适合用做生产用途,对比另一款IDE,PyCharm,项目开发更适合使用后者这款
这里我们尽可能地减少安装环境配置等等的影响,
不同系统上具体操作的差别不会太大。
这里假定使用的是Win10,官网下载安装完成后,
在开始菜单找到Notebook并点开它。
默认配置下,点开后会出现一个黑底白字的控制台窗口,
然后自动调出系统默认浏览器弹出Notebook的主界面窗口。
图:Jupyter Notebook的网页界面和控制台界面
Notebook黑底白字的控制台窗口,在用的过程中千万不能关闭它,
最小化它即可,不必太多理会。
网络上有非常多的Notebook基本操作的指引
(网络资料传送门:https://zhuanlan.zhihu.com/p/33105153 )
这里不再赘述啦。
上图是我新建了一个文件夹,在里面新建了一个ipynb文件(统一称为Notebook文件)。
OK!实验环境准备就绪,可以继续下一步啦。
01
情景1:爬虫爬取了一些数据,已经整理成清单,怎样存进数据库里面呢?
这里演示时用了一些新闻数据。
根据我的演示内容,目前只抓取一个页面上的部分数据,
然后整理出了“分类,标题,点击数,链接”共4个字段。
图:演示用的部分代码和数据(完整代码数据见GitHub)
数据量确实也不太多的样子,如果用自带的 csv 模块写入到文件也不会太差。
写入标准格式的csv文件,代码不过五六行而已。
(csv模块官方文档传送门:https://docs.python.org/3/library/csv.html )
图:演示写入到csv文件
那么,
换成使用数据库会增加存取数据的操作成本吗?
会影响程序的运行效率,或者影响本机的性能吗?
答案或许是否定的。
Python自带了一个简单但非常有用的模块叫 sqlite3,
根据官方文档介绍(传送门:https://docs.python.org/3/library/sqlite3.html ),
它适合用于在本机上储存一些数据量不太大的内部数据,
而且对于Python来说,还有一点非常重要的优势是,
『容易迁移』,也就是说,后面改成用MySQL或者PostgreSQL都会很方便,
我们后面的情景会演示『容易迁移』这一点的。
在这种情景下,改成使用sqlite来存取数据有什么优势呢?
· 数据形式基本一致,都是二维的表格
· 存入csv文件的代码,可以很方便地改写成存入sqlite数据表的代码
· 对比csv文件,数据表的每一列可以指定数据类型,便于管理和使用
· 对比csv文件,利用SQL可以处理复杂数据,不需要一次性载入内存再做处理
· 对比csv文件,多了SQL语法语句的操作,支持模糊查询、索引加速等等
那怎么使用 sqlite3呢?
不同数据库还是有不少差别的,数据类型,SQL语法,等等。
因此首先需要查看相关资料了解一下sqlite本身的基本操作
(网络资料传送门:https://www.runoob.com/sqlite/sqlite-create-table.html )。
sqlite大概是最简单的关系型数据库了,
我们入手的时候尽量往简单里写,以后再深入了解把代码写得更强大。
了解完sqlite本身后,再了解一下在Python中的使用方式。
使用模式基本上离不开这3步:
· 连接数据库
· 操作数据
· 断开数据库
我们这里演示只演示把数据存入sqlite数据库文件的话,
也不外乎是这3步,只是其中多了一个叫“游标(Cursor)”的东东。
游标就像“指针”,增删改查都靠它!
先连接数据库,然后跟数据库申请一个游标对象,
再利用游标把数据依次写到数据库里面,so easy!
图:演示连接和写入到sqlite数据库
写进数据库后,怎样最直观地看到刚写入的数据内容呢?
除了可以再次利用刚才提到的游标,select查询一下数据内容,
也可以安装使用 SQLite Expert Personal 这款软件(个人免费使用),
图形界面操作,也可以在里面编写执行SQL对数据进行二次处理。
图:在 SQLite Expert Personal 中查看刚写入的数据
至此,sqlite已经基本入门了吧~
02
情景2:爬虫爬取的数据越来越多,sqlite数据库文件越滚越大,也满足不了一些更高级的使用需求了,可以快速地迁移到其他数据库上吗?
“切换数据库”对IT运维人来说,有时确实是一个非常令人头大的问题,
但对于我们个人使用来说,能否快速迁移,
答案或许是肯定的,特别是数据规模还不太大的时候,
而且!越早做迁移,痛苦越少~
想象起来好像挺难的?其实并不难哦。
我们先在目前主流的关系型数据库里面,
挑选一款既简单又很强大的数据库软件来做试验,
这里选的是跟MySQL同源的MariaDB数据库,是开源的。
(MariaDB官网:https://downloads.mariadb.org/mariadb/ )
跟Anaconda 3类似,Win下有可以直接用的安装包,安装MariaDB的过程中,
别忘了设置好root用户的密码(root用户有最高权限),
以及别忘了给“用UTF-8作为服务器默认的字符集(Use UTF8 as default server’s character set)”打上钩。
图:MariaDB 安装过程中需要注意的点
安装完成后就可以直接在本机使用MariaDB数据库啦。
我们还是尽量往简单里写,这里直接使用root用户操作
(不推荐直接使用root用户操作数据!这样不安全!)
(不推荐直接使用root用户操作数据!这样不安全!)
(不推荐直接使用root用户操作数据!这样不安全!)
(重要的事情说三遍!)
后面实际应用时,可以再深入了解一下数据库用户与权限这部分,
给每个项目至少建立一个有限权限的用户,严格控制权限,
以及项目之间除非必要,一般都要进行数据隔离。
情景1里面提到**『容易迁移』**,真的是这样的吗?
确实可以!因为几乎所有的Python连接关系型数据库的模块,
都是根据Python定的一个叫**“DB-API 2.0”的接口标准**来写的,
(官方文档传送门:https://www.python.org/dev/peps/pep-0249/ )
最大的好处就是,非常方便地,
我们不需要怎么改动代码就可以适用连接更多的数据库。
图:将先前存入sqlite数据库的数据,边读出边写入到MariaDB数据库中
演示的代码可以看出,两种数据库调用的方法函数什么的基本都一样,
可以从sqlite的代码一比一复制过去,再根据 pymysql模块的文档
(传送门:https://pymysql.readthedocs.io/en/latest/ )
以及MariaDB的参考资料
(网络资料传送门:https://www.w3cschool.cn/mariadb/ )
稍微改一改代码,就可以用上了,还是so easy,是不?
同样问题,写进数据库后,怎样最直观地看到刚写入的数据内容呢?
依然是“游标”,select查询一下数据内容,
或者使用非常经典的Navicat,进行图形界面操作,
它也支持连接多款数据库软件,功能也相当强大的说。
图:在 Navicat 中查看刚写入的数据
至此,MariaDB数据库,以及怎样操作数据迁移,
都已经基本入门了吧~
最后提一下拓展方向,
大伙儿可以在评论区留言说说哪些是感兴趣的,
以后会专门写图文来讲哈:
· 数据库ORM工具,如 SQLAlchemy:ORM是“把关系数据库的表结构映射到对象上”的意思,操作那些对象就等同于操作数据本身,它其实是在各种数据库连接驱动之上再做了一层封装,下层换数据库时上层代码基本不用做太大的改动,它都能自如应付,具体可以参考廖老师博客的文章(网络资料传送门:https://www.liaoxuefeng.com/wiki/897692888725344/955081460091040 )
· 非关系型数据库,如 MongoDB:储存数据的结构叫BSON,是一种类似JSON的结构,应用情景比如,经常爬取JSON结构的数据,用它来存取数据会方便很多,具体可以参考网络上的教程(网络资料传送门:https://www.runoob.com/mongodb/mongodb-tutorial.html )
· 复杂的SQL操作,是需要经验积累的,如果先前没怎么接触数据库,可以先从最简单的操作开始试验(网络资料传送门:https://www.runoob.com/sql/sql-tutorial.html ),然后找题库平台(比如力扣的,传送门:https://leetcode-cn.com/problemset/database/ )上数据库专题的题目多实操一下,很快就可以积累起来的
最后的最后,附上本篇实操练习的GitHub repo:
https://github.com/djun/db_exercise
以上,希望对你有所帮助~
以上就是“我的实战经验分享:深入浅出Python数据库操作”的全部内容,希望对你有所帮助。
关于Python技术储备
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
三、Python视频合集
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
四、实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
五、Python练习题
检查学习结果。
六、面试资料
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
最后祝大家天天进步!!
上面这份完整版的Python全套学习资料已经上传至CSDN官方,朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。