python
文章平均质量分 90
喵叔哟
Dedicated to promoting and advancing .NET in China for a lifetime.
展开
-
Scrapy Pipeline
Scrapy 中的 Pipeline 为我们提供了处理数据的功能,在实际开发中我们经常使用它来清洗/验证数据、去重和数据保存。在一个项目中会存在多种 Pipeline ,每个 Pipeline 都是一个 class ,其中包含了一些处理的 Item 的方法。 Item 会在这些 Pipeline 中按顺序依次传递,如果其中一个 Pipeline 丢弃了 Item ,那么后面未执行到的 Pipeli...原创 2020-01-20 01:52:31 · 2949 阅读 · 0 评论 -
Python 正则表达式急速入门
正则表达式在程序开发中会经常用到,比如数据(格式)验证、替换字符内容以及提取字符串内容等等情况都会用到,但是目前许多开发人员对于正则表达式只是处于了解或者是基本会用的阶段。一旦遇到大批量使用正则表达式的情况(例如网络爬虫)可以说基本上就抓瞎了。这篇文章我将带领大家利用 Python 来学习一下正则表达式。在阅读这篇文章前你需要掌握 Python 基础知识,或者具有其他开发语言的基础知识也可以,因为...原创 2019-12-10 21:31:59 · 1147 阅读 · 0 评论 -
快速入门 Arrow 日期处理库
Python 中的第三方日期处理库有很多,每个库又存在不同的数据类型,甚至有些库日期和时区的转换很难搞清楚,尤其是针对特殊格式的日期处理起来很困难。 Arrow 的出现,为上述问题带来了解决方案。下面我们就来讲解一下 Arrow 相关的知识。零、特性完全可以替换 Python 内置的 datatime 类;支持 Python3 的同时也兼容 Python2;自动感知当前时区;为常见的输...原创 2019-10-24 22:37:07 · 1428 阅读 · 0 评论 -
python 调试冷知识
对于 python 代码的调试我们通常都是使用 IDE 自带的调试功能。但是 IDE 提供的调试功能存在局限性,例如在测试服务器上调试代码,但是又不可能在测试服务器上安装 IDE 进行调试。这时我们就可以利用下面所讲解的三个工具进行调试。零、准备调试代码在讲解三个调试工具前,我们先编写待调试的代码。代码很简单,就是计算两个数的商。我们在编写代码的时候故意留下了除数为 0 的 bug。def ...原创 2019-10-22 11:09:09 · 2865 阅读 · 4 评论 -
Python从入门到精通--课程目录
Python基础第一章 起步 1.环境搭建 1.1.Windows 搭建Python环境1.2.Ubuntu 搭建Python环境1.3.Mac 搭建Python环境1.4.小结2.我的第一个Python项目 2.1.新建项目2.2.运行项目2.3.发生了什么2.4.小结第二章 入门 1.变量、字符串与数字 1.1.变量1.2.字符串1.3.数字1.4....原创 2018-07-11 22:08:25 · 3324 阅读 · 0 评论 -
Flask架站基础篇(八)--SQLAlchemy(2)
零、数据库增删改查1.增# 增加数据article1 = Article(title='aaa', content='bbb')# 以下这种方式也可以# article1.content = 'ccc'# article1.title = 'ddd'# 保存数据db.session.add(article1)# 提交事务db.session.commit()2.删...原创 2018-02-09 22:24:29 · 1003 阅读 · 0 评论 -
Flask架站基础篇(七)--SQLAlchemy(1)
零、什么是SQLAlchemySQLAlchemy是 Python 中常用的ORM框架一、安装在命令行中打开虚拟环境,在虚拟环境中输入如下命令:pip install flask-sqlalchemy二、设置连接字符串连接数据库1.初始化sqlalchemy对象from flask import Flaskfrom flask_sqlalchemy impor...原创 2018-02-09 21:59:42 · 1116 阅读 · 0 评论 -
Flask架站基础篇(五)----Jinja2模板
零、使用模板#引入render_templatefrom flask import Flask,render_templateapp = Flask(__name__)@app.route('/')def index(): #调用render_template,传递模板名称 return render_template('index.html')if __n原创 2018-01-25 22:15:37 · 1003 阅读 · 0 评论 -
Flask架站基础篇(六)--mysql-python 安装
mysql-python封装了mysql 针对python的驱动,使我们用起来更加轻松。零、安装对于python2.x和python3.x系列的版本,有两种不同的安装方式,虽然这个教程所使用的python版本为3.x,但是我认为还是有必要把这两个都讲一下。 1. python 2.x 下安装#命令行输入如下命令pip install mysql-python2.pyth原创 2018-01-25 22:07:09 · 1004 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(二十六)--分水岭算法(纯代码)
import cv2 as cvimport numpy as npdef watershed(img): gray = cv.cvtColor(img, cv.COLOR_RGB2GRAY) ret, binary = cv.threshold(gray, 0, 255, cv.THRESH_BINARY | cv.THRESH_OTSU) kernel = cv原创 2018-01-08 22:50:10 · 3422 阅读 · 0 评论 -
Flask架站基础篇(四)--URL
零、url 传参在route 装饰器中将参数名用尖括号括住,代码如下:@app.route('/article/')def article(id): return u"您请求的参数是:%s" % id二、url反转什么是url反转:通过视图函数获得url的方法就叫做url反转url反转的作用: a. 页面重定向会用到 b. 模板页会用到 c. 加载静态文原创 2018-01-25 10:01:58 · 1519 阅读 · 0 评论 -
Flask架站基础篇(三)--Flask生成文件内容和文件夹详解
零、默认文件内容详解创建Flask项目后只生成一个py文件,这个文件也就是应用程序主文件(入口文件),生成的代码及解析如下:#引入flaskfrom flask import Flask#初始化flask对象#必须传递参数,并且参数名为__name__#原因:#1、方便flask寻找资源#2、falsk插件报错时可以定位问题app = Flask(__name__)#原创 2018-01-24 21:52:30 · 1486 阅读 · 0 评论 -
Flask架站基础篇(一)--环境配置
零、开发环境操作系统:windows 7 及以上版本Python 版本:3.0及以上版本数据库:MySQL一、安装虚拟环境pip install virtualenv创建目录在创建的目录下输入:virtualenv flask-env进入flask-env/scripts,输入activate,运行虚拟环境退出虚拟环境输入:deactivate二、安装Flask原创 2018-01-15 23:51:42 · 1220 阅读 · 0 评论 -
Python模拟登陆新版知乎
目前网上很多模拟登录知乎的代码已经无法使用,即使是二、三月的代码也已经无法模拟登陆知乎,所以我现在将新版知乎的模拟登录代码和讲解发布出来。零、开发环境开发工具:PycharmPython版本:3.6运行环境:Win10一、代码和讲解# 利用requests 模拟登陆import requestsimport http.cookiejar as cookiel...原创 2018-04-17 00:29:15 · 6713 阅读 · 5 评论 -
17天17个Python设计模式--目录
一、创建型模型工厂方法模式抽象模式建造者模式原型模式二、结构型模式适配器模式修饰器模式外观模式享元模式模型-视图-控制器模式代理模式三、行为型模式责任链模式命令模式解释器模式观察者模式状态模式策略模式模板模式...原创 2018-05-20 17:01:49 · 1036 阅读 · 0 评论 -
喵叔的爬虫--第一节--先动动小手儿
嗨,大家好,我是喵叔。今天开始跟大家讲解一下Python 爬虫的编写,今天是第一节课,这篇文章主要是带领大家动手体验一下爬虫的编写。废话不多说,开始上课。零、什么是爬虫,爬虫能干什么小明问:喵叔,什么是爬虫呢?喵叔答:这里说的爬虫可不是有生命的虫子 ,而是是一种按照一定的规则,自动地抓取互联网信息的程序或者脚本。小亮问:爬虫能干什么呢?喵叔答:爬虫能干的事儿很多,我刚才也说了爬虫可以抓...原创 2019-08-15 15:13:50 · 957 阅读 · 0 评论 -
python 判断文件和目录是否存在
在开发过程中我们有时需要判断文件或者判断目录是否存在,这个时候我们需要用到python中提供的三种方法:OS模块判断;open函数和异常捕获判断;pathlib模块判断。零、OS模块判断OS模块判断文件或目录是否存在是很常用的,我们来看一下具体怎么使用import os# 判断文件是否存在if os.path.isfile("e:/test/test.txt"): p...原创 2019-08-10 23:50:28 · 1788 阅读 · 0 评论 -
第一节--API爬虫--环境设置与课程简介
零、环境操作系统:Windows 10Python版本:3.5+IDE:PyCharm数据库:MySQL8.0一、课程简介这门课主要讲解爬虫中API爬虫的开发,这门课是一门偏向实战的课程,需要读者具备Http知识和python基础。通过学习这门课程可以掌握开发api爬虫的方法、数据分析、api编写和网站开发。课程中要爬取的网站是 美团外卖,用到的即使包括但不限于如下内容:Dj...原创 2018-12-05 16:32:09 · 962 阅读 · 0 评论 -
简单的Python API爬虫与数据分析教程--目录
第1节:环境设置第2节:爬虫知识爬虫种类Python爬虫框架原理第3节:要爬取的api接口分析第4节:开始写爬虫数据库模块数据存储模块数据爬取模块第5节:使用代理IP爬取代理IP验证IP是否可用爬虫随机使用IP第6节:使用多线程什么是多线程编写多线程代码防止爬虫爬取相同的内容第7节:生成图表pygal安装与简单使用分析违规商家分布区域分析...原创 2018-11-26 17:23:36 · 1205 阅读 · 0 评论 -
TensorFlow学习笔记--CIFAR-10 图像识别
零、学习目标tensorflow 数据读取原理深度学习数据增强原理一、CIFAR-10数据集简介是用于普通物体识别的小型数据集,一共包含 10个类别 的 RGB彩色图片(包含:(飞机、汽车、鸟类、猫、鹿、狗、蛙、马、船、卡车)。图片大小均为 3232像素*,数据集中一共有 50000 张训练图片和 1000 张测试图片。部分代码来自于tensorflow官方,以下表格列出了所需的官方代...原创 2018-10-09 00:21:35 · 1578 阅读 · 0 评论 -
TensorFlow学习笔记--Deep Dream模型
零、目标Deep Dream是谷歌推出的一个有意思的技术。在训练好的CNN上,设定几个参数就可以生成一张图象。具体目标是:了解Deep Dream基本原理掌握实现生成Deep Dream 模型一、技术原理在卷积网络中,通常输入的是一张图象,经过若干层的卷积运算,最终输出图像的类别。这期间使用到了图片计算梯度,网络根据梯度不断的调整和学习最佳的参数。但是卷积层究竟学习到了什么,卷积层的...原创 2018-10-18 14:17:59 · 2832 阅读 · 2 评论 -
TensorFlow学习笔记--自定义图像识别
零、学习目标本篇文章主要讲解自己的图像数据如何在TnesorFlow上训练,主要从数据准备、训练模型、验证准确率和导出模型并对图片分类。重点如下:微调导出模型并对图片分类一、微调原理对于新手来说,在自己的数据集上训练一个模型时,最简单的方法是在ImageNet的模型上进行微调。什么是微调呢?以VGG16为例,它的结构为5部分卷积层共13层(conv1 ~ conv5)和3层的全...原创 2018-10-15 10:01:50 · 2970 阅读 · 0 评论 -
Ubuntu16升级Python3
网上好多Ubuntu16.04升级Python的方法,但是大多教程都是使用源码安装的方式。这篇博文将会使用另一种方法将系统自带的Python3.5升级到Python3.6。 用过Ubuntu16.04的人都知道,这个版本Ubuntu的软件源安装列表中是没有Python3.6的安装包的,所以我们需要添加安装源,在命令行输入如下命令:sudo add-apt-repository ppa:jon...原创 2018-07-30 23:40:35 · 6939 阅读 · 0 评论 -
python api链接数据库
零、开发环境操作系统:Ubuntu 16.04 及以上 或 Windows 8 及以上Python版本:3.5及以上开发工具:PyCharm数据库:MySQL一、环境配置创建虚拟环境通过命令行进入虚拟环境,输入命令在虚拟环境中安装MySQL Client: pip install mysqlclient 二、简单讲解在这篇文章中我会利用 mysqlcli...原创 2018-06-17 23:54:22 · 1307 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(二十四)--开闭操作
一、什么是开操作和闭操作闭操作:1、图像形态学的重要操作之一,基于膨胀与腐蚀操作组合形成的2、主要是应用在二值图像分析中,灰度图像也可以3、开操作=膨胀+腐蚀,输入图像+结构元素开操作:1、图像形态学的重要操作之一,基于膨胀与腐蚀操作组合形成的2、主要是应用在二值图像分析中,灰度图像也可以3、开操作=腐蚀+膨胀,输入图像+结构元素开操作与闭操...原创 2017-12-28 22:52:52 · 2879 阅读 · 1 评论 -
Flask架站基础篇(二)--开发工具配置
零、说明该课程使用的PyCharm 2017.2.3 ,但是在编写这个课程时,PyCharm的最新版本已经是2017.3.3,新版IDE与该课程使用的IDE的虚拟环境配置有所不同,新版IDE具体配置方法,在这里不会涉及。一、虚拟环境配置启动PyCharm在 “New Project“ 弹出框中选择”Flask”选择项目保存目录,单击红圈处 选择 “Create Virtu原创 2018-01-21 22:24:12 · 1056 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(十九)--直线检测
这节课能容不多,基本上是遵循规律编写代码即可import cv2 as cvimport numpy as npdef line_detection(img): """方法一""" gray=cv.cvtColor(img,cv.COLOR_RGB2GRAY) edges=cv.Canny(gray,50,150,apertureSize=3)...原创 2017-12-19 23:28:18 · 2431 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(六)--ROI
一、本节简介本节主要讲解ROI的图像中特定区域的提取和合并图片二、什么是ROI简单的说就是对图像感兴趣的区域,机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域,ROI。举个例子来说:有一副图片,图片上有各种动物i,但是你只喜欢图片里的狗,那么这个狗所在的区域就是感兴趣的区域(ROI)。三、示例src=cv...原创 2017-11-23 00:30:45 · 13134 阅读 · 2 评论 -
Python3与OpenCV3.3 图像处理(补)--第十五节补充
在图片比较大的情况下,使用第十五节讲的方法,会出现处理速度慢和处理效果不佳的情况。对于超大图象二值化一般都会进行分块。超大图象一般会分块以后使用全局二值化,或者使用局部二值化。并且应使用自适应阈值,全局阈值会收到图象噪声的影响代码如下import cv2 as cvimport numpy as npdef big_img_binary(img): # 定义...原创 2017-12-10 22:48:22 · 1577 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(五)--图像运算
一、本节简介图像运算也就是像素运算,简单的说就是利用算术运算或逻辑运算,对图像的每个像素进行处理(例如两个图像的合并)。虽然我们可以像第二节课那样,一个像素一个像素的遍历并修改值,但是如果图像分辨率很大的情况下,会处理的很慢,并且处理一些复杂的运算时,我们的代码效率会变得更低,代码编写出来也变得很麻烦。这节课就来讲解以下OpenCV中对图像运算的方法。注意:我们在处理两个图像时,图像的像...原创 2017-11-21 23:49:43 · 2394 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(十五)--图像二值化
一、什么是二值图像图像中只有0和1,即1表示黑色,0表示白色二、图像二值化的方法图像二值化的方法:全局阈值,局部阈值。一般来说局部阈值要优于全局阈值。在OpenCV中图像二值化的方法有OTS,Triangle,自动与手动,衡量阈值方法是否是符合场景的,就是要看处理之后图像的信息是否丢失三、示例代码import cv2 as cvimport numpy a...原创 2017-12-09 18:40:31 · 3536 阅读 · 1 评论 -
Python3与OpenCV3.3 图像处理(九)--高斯模糊
一、什么是高斯模糊把要模糊的像素色值统计,用数学上加权平均的计算方法(高斯函数)得到色值,对范围、半径等进行模糊二、高斯模糊的应用场景一些美颜软件、美颜相机上的磨皮和毛玻璃特效基本上都是用的高斯模糊,并且大部分图像处理软件中都有高斯模糊的操作,除此之外,高斯模糊还具有减少图像层次和深度的功能三、示例import cv2 as cvimport numpy a...原创 2017-12-01 00:13:04 · 4933 阅读 · 1 评论 -
Python3与OpenCV3.3 图像处理(二)--图像基本操作
一、本节简述 本节主要讲解图像的一些基础知识,以及图像的加载和获得属性,最后将会学到 OpenCV 摄像头的简单使用。二、图像基本知识 1、图像是什么: 图像是客观对象的一种相似性的、生动性的描述或写真,是人类社会活动中最常用的信息载体。或者说图像是客观对象的一种表示,它包含了被描述对象的有关信息。 ...原创 2017-11-13 23:05:41 · 6421 阅读 · 2 评论 -
Python3与OpenCV3.3 图像处理(一)--环境搭建与简单DEMO
一、所需软件本教程需要一下软件:PyCharm 2017.2.3 (其他版本也可) OpenCV 3.3 Python 3 Windows 7以上版本二、环境配置 Python3 和 PyCharm的安装这里就不详述的,只需到对应的官方网站下载安装即可,需注意的是Python 要安装Python3以上版本。注意:Python 3 安装完后,在命令行工具内输...原创 2017-11-12 23:32:15 · 22305 阅读 · 2 评论 -
Python3与OpenCV3.3 图像处理(三)--Numpy数组操作
一、本节简述本节主要讲解Numpy数组操作的一些基础知识。二、什么是Numpy 一个用python实现的科学计算包。包括:1、一个强大的N维数组对象Array;2、比较成熟的(广播)函数库;3、用于整合C/C++和Fortran代码的工具包;4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy配合使用更加方便。NumPy(Num...原创 2017-11-15 23:25:38 · 9764 阅读 · 5 评论 -
Python3与OpenCV3.3 图像处理(八)--模糊
一、模糊方式以及每种方式的使用场景模糊操作方式:均值模糊:一般用来处理图像的随机噪声 中值模糊:一般用来处理图像的椒盐噪声 自定义模糊:对图像进行锐化之类的操作二、模糊基本原理基于离散卷积、定义好每个卷积核、不同卷积核得到不同的卷积效果、模糊是卷积的一种表象三、代码示例import cv2 as cvimport numpy as npdef b...原创 2017-11-28 23:31:10 · 3546 阅读 · 1 评论 -
Python3与OpenCV3.3 图像处理(四)--色彩空间
一、本节简述本节讲解图像色彩空间的处理和色彩空间的基础知识二、色彩空间基础知识什么是色彩空间,人们建立了多种色彩模型,以一维、二维、三维甚至四维空间坐标来表示某一色彩,这种坐标系统所能定义的色彩范围即色彩空间色彩空间有很多,但是常用的色彩空间一共5种:RGB、HSV、HSI、YCrCb、YUV,简单讲一下这5个色彩空间。RGB就不用多说了,RGB是我门经常用到的; HSV也...原创 2017-11-19 17:25:03 · 2880 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(十)--EPF
一、什么是EPF高斯模糊只考虑了权重,只考虑了像素空间的分布,没有考虑像素值和另一个像素值之间差异的问题,如果像素间差异较大的情况下(比如图像的边缘),高斯模糊会进行处理,但是我们不需要处理边缘,要进行的操作就叫做边缘保留滤波(EPF)二、示例import cv2 as cvimport numpy as npdef bi(image): """ 色彩窗...原创 2017-12-03 13:56:19 · 2173 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(十六)--图像金字塔
一、什么是图像金字塔图像金字塔是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低。(来源于百度)二、图像金字塔类型高斯金字塔 拉普拉斯金字塔...原创 2017-12-12 23:44:08 · 1921 阅读 · 0 评论 -
Python3与OpenCV3.3 图像处理(二十三)--膨胀与腐蚀
一、关于图形形态学是图像处理学科的一个单独分之学科; 灰度与二值图像处理中重要的手段; 是由数学的集合论等相关理论发展起来的二、什么是膨胀和腐蚀膨胀就是求局部最大值的操作腐蚀就是求局部最小值的操作膨胀与腐蚀都支持任意形状的结构元素三、示例代码import cv2 as cvimport numpy as npdef erode(img):...原创 2017-12-27 22:12:10 · 2725 阅读 · 0 评论