![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
文章平均质量分 66
程序员唐丁
本人从事数据挖掘,数据分析,爬虫相关工作,同时做过很多人工智能和安卓脚本的项目,后面不会不定期发布一些自己平时遇到的问题和解决办法。也会发布一些相关方向的学习教程。大家可以关注微信公众号“程序员唐丁”查看更多。
展开
-
Python常用的ORM/orm框架
使用Python做web开发过程中我们肯定会使用到数据库,有人可能使用原生sql进行操作,但大多数都会选择使用ORM方式操作数据库,如果你不知道什么是ORM的话请自行百度。今天唐丁给大家介绍几个常用的ORM库,并列出其中常用的操作数据库的函数。sqlalchemy这个框架适合企业级项目的开发安装pip install sqlalchemy数据表样例class User(Base): __tablename__ = 'users' # 表名 __table_args__ = {原创 2022-04-14 17:59:13 · 13175 阅读 · 0 评论 -
一文了解supervisor,从安装到部署
工具使用场景:唐丁在实际中经常会需要在linux端长时间启动某个项目或者希望某个项目在开机后自动启动,并且能够在出现异常的情况下自动重启。Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动,这样只要在supervisor的配置文件中,把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候,父进程可以准确获取原创 2021-11-30 21:53:18 · 677 阅读 · 0 评论 -
celery-分布式任务调度
唐丁最近工作比较忙,好久没更新了。最近一直在做Python的Web后端开发工作。所以这次就介绍一款后端开发常用的一个分布式任务调度框架–Celery。介绍Celery是Python开发的分布式任务调度模块,Celery本身不含消息服务,它使用第三方消息服务来传递任务,目前,Celery支持的消息服务有RabbitMQ、Redis甚至是数据库。安装pip install Celery核心模块Task : 就是任务,有异步任务和定时任务Broker : 中间人,接收生产者发来的消息即Task,将任原创 2021-11-03 23:02:32 · 573 阅读 · 1 评论 -
2021Python基础面试题,简单好用,实践经验
1、请简单介绍一下Python的单例模式单例模式有以下特征:1、单例类只能有一个实例;2、必须自行创建这个实例;3、必须自行向整个系统提供这个实例。实现方法之一使用__new__方法原理:new方法执行先于init方法class Person(object): _instance = None def __new__(cls, *args, **kwargs): if not cls._instance: cls._instance = sup原创 2021-10-03 10:09:06 · 198 阅读 · 0 评论 -
爬虫之正则解析
一、什么是正则正则表达式描述了一种字符串匹配的模式,可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。二、爬虫上什么场景下用正则这个很难说,对于初学者或者一般的结构比较“规范”(也就是人家没想搞你)的网页数据,直接用XPath或者bs4就可以解析网页数据了,但是有时候爬虫你会发现数据不是在HTML中,也不是在json包中,而是在返回的js里。这个时候XPath或者bs4不能解决了,就只有采用正则了。当然,后期正则使用比较熟练的情况下,能正则就正则。因为正则入门原创 2021-08-16 20:53:26 · 767 阅读 · 0 评论 -
爬虫实战-疫情数据获取
前段时间南京疫情爆发,唐丁需要每天关注一下疫情数据,一想到还要打开app,然后翻到指定页面,还得查找对应城市的数据我就头疼。所以就写了一个爬虫程序。每天定时抓取江苏所有城市的疫情数据,然后将有新增病例的城市数据自动发到我的邮箱。感觉棒极了~~废话不多说,下面讲解一下爬取的过程:一、抓包获得数据接口本次数据来源于腾讯新闻经过分析,我找到了疫情数据返回的接口,红框部分对应我们需要查询的省份和城市。嗯,返回的数据还是json格式的,那解析过程就很简单了~~二、获取并解析数据唐丁将江苏所有的城市原创 2021-08-16 20:52:07 · 1731 阅读 · 0 评论 -
Python办公自动化之xlrd,xlwt
一、安装pip3 install xlrd==1.2.0目前最新版本为2.0.1,不支持处理xls文件二、各类函数详解import xlrd as rd1、打开excel文件,返回类型(<class ‘xlrd.book.Book’>)rd.open_workbook(filename=None, logfile=<_io.TextIOWrapper name='<stdout>' mode='w' encoding='UTF-8'>, verbo原创 2021-07-19 14:22:05 · 211 阅读 · 0 评论 -
Python之远程控制库paramiko
一、paramiko简介Paramiko是一个用于建立SSH2连接(客户端或服务器)的库。重点是使用SSH2作为SSL的替代方案,在python脚本之间建立安全连接。支持所有主要的密码和哈希方法。SFTP客户端和服务器模式也都支持。作者在平时主要用其作为对服务器端的文件和目录的下载和上传操作使用,当然Paramiko也可以远程执行服务器端命令,并返回执行结果。二、下载安装pip3 install paramiko 三、代码实现1、从服务器端下载文件到本地import paramiko#下载文原创 2021-07-18 20:07:55 · 316 阅读 · 0 评论 -
Python数据分析之Pandas(二)
上一节介绍的Pandas的简单应用,包括pandas中Series和DataFrame类型数据的创建,以及对DataFrame的转置和排序。今天讲的是pandas的数据选择、设置值和处理丢失数据三类方法。一、数据选择#导库import pandas as pdimport numpy as np1、选择数据-简单选择-按列索引df_DataFrame = pd.DataFrame(np.random.randn(3,4),index=['a','b','c'],columns=['A','B'原创 2021-06-25 16:10:46 · 233 阅读 · 0 评论 -
Python数据分析之Pandas(一)
一、Pandas简介Pandas 是 Python 语言的一个扩展程序库,用于数据分析。Pandas 是一个开放源码、BSD 许可的库,提供高性能、易于使用的数据结构和数据分析工具。Pandas 一个强大的分析结构化数据的工具集,基础是 Numpy(提供高性能的矩阵运算)。Pandas 可以从各种文件格式比如 CSV、JSON、SQL、Microsoft Excel 导入数据。Pandas 可以对各种数据进行运算操作,比如归并、再成形、选择,还有数据清洗和数据加工特征。Pandas 广泛应用在学原创 2021-06-25 16:08:06 · 728 阅读 · 0 评论 -
Python绘图之seaborn(二)
上一篇给大家简单介绍了散点图和线图的绘制函数,今天我们讲一下用分类数据绘图的方法。下面以flights数据表为例进行绘制,flights表结构如下:一、分类散点图catplot()函数中数据的默认表示形式使用散点图。实际上,在seaborn中有两个不同的分类散点图。他们采用不同的方法来解决用散点图表示分类数据的问题,即属于一个类别的所有点都将沿着分类变量对应的轴落在同一位置。stripplot()是catplot()中的默认“kind”,它使用的方法是用少量的随机“抖动”来调整分类轴上点的位置:j原创 2021-06-18 16:59:05 · 274 阅读 · 0 评论 -
Python绘图之seaborn(一)
最近在系统梳理一下Python的几个可视化绘图库,其中seaborn上手较为方便快捷,下面给大家简单介绍一下,可以满足自己日常需要的绘图要求。Seaborn 是一个基于 matplotlib 且数据结构与 pandas 统一的统计图制作库。Seaborn 框架旨在以数据可视化为中心来挖掘与理解数据。它提供的面向数据集制图函数主要是对行列索引和数组的操作,包含对整个数据集进行内部的语义映射与统计整合,以此生成富于信息的图表。一、安装seaborn为了安装最新版本的seaborn, 可以 pip命令:p原创 2021-06-17 16:52:36 · 1260 阅读 · 0 评论 -
Python-编码专题
前一节给大家讲了Python的七大数据类型:数值、布尔、字符串、列表、元组、字典、集合。关于变量定义方面,由于Python是动态语言,因此无需事先定义变量的类型,只需在需要赋值时直接赋值即可。下面着重给大家讲解一下Python编码和解码问题:因为计算机只能处理二进制数字,如果要处理文本,就必须先把文本转换为二进制才能处理。最早的计算机在设计时采用8个比特(bit)作为一个字节(byte),所以,一个字节能表示的最大的整数就是255(二进制11111111=十进制255),如果要表示更大的整数,就必须用更原创 2021-06-15 10:47:08 · 91 阅读 · 0 评论 -
一分钟了解几个非常实用的Python库
Python一直被自称“batteries included”,就是因为内置了许多非常有用的模块,无需额外安装和配置,即可直接使用。除了内建的模块外,Python还有大量的第三方模块,直接使用pip安装即可使用。下面给大家简单介绍几个Python非常实用的自带库和第三方库。自带库一、datetimedatetime是Python处理日期和时间的标准库。1、获取当前日期和时间>>> from datetime import datetime>>> now =原创 2021-06-14 10:42:50 · 13165 阅读 · 8 评论 -
python数据类型
本教程默认大家已经安装好了Python3环境~~一、第一行Python代码学编程的同学应该都知道,任何语言刚学习的时候第一句学会的代码就是打印“hello,world”,咱们Python也不例外。打开Python自带的解释器,或者PyCharm等第三方集成开发环境,直接输入:print(“hello,world”),然后点击运行,你会发现输入如下:二、预备知识编码默认情况下,Python 3 源码文件以 UTF-8 编码,所有字符串都是 unicode 字符串。 当然你也可以为源码文件指定不同的原创 2021-06-04 16:47:20 · 79 阅读 · 0 评论 -
Python十几行代码实现邮件自动发送
本次教程用Python十几行代码实现邮箱邮件自动发送。一、开发环境:安装好Python环境,需要使用的库函数:smtplib和email,这两者为Python自带库,无需安装。二、配置发送邮箱信息发送邮箱设置(两种方案)1、不使用第三方服务,即本机安装 sendmail(邮件传输代理程序)安装详情参考:https://my.oschina.net/u/588516/blog/23540192、使用第三方 SMTP 服务(本人亲用,大家可以自行选择)开启SMTP方法授权,获取授权码(授权码很重原创 2021-05-28 15:23:48 · 757 阅读 · 0 评论 -
Python-简介
一、什么是PythonPython是著名的”龟叔“Guido van Rossum在1989年圣诞节期间,为了打发无聊的圣诞节而编写的一个高级编程语言,它是一种结合了解释性、编译性、互动性和面向对象的脚本语言Python 是一种解释型语言: 这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语言。Python 是交互式语言: 这意味着,您可以在一个 Python 提示符 >>> 后直接执行代码。Python 是面向对象语言: 这意味着Python支持面向对象的风格或代码原创 2021-05-25 22:16:32 · 103 阅读 · 0 评论