![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python学习
文章平均质量分 90
亚呦u椰
这个作者很懒,什么都没留下…
展开
-
opencv下载到虚拟环境,在jupyter notebook依然加载错误
瞎鼓捣了一天,也不知道是什么错误,最后再Stack Overflow上找到的解决方案,相关连接 https://stackoverflow.com/questions/43184887/dll-load-failed-error-when-importing-cv2。pip install opencv-contrib-python...原创 2020-03-04 07:09:59 · 226 阅读 · 0 评论 -
第十二节段 -- 爬虫04:【进程;线程;协程】
文章目录1. 线程1. 简介2.主要组成成分2.1. URL 队列和结果队列2.2. 包装类 -- 实现多线程2.3. 函数包装 -- 实现多线程2.4. 进程池3. Queue 模块中的常用方法4. 实例2. 进程1. multiprocessing模块2. Manager类,实现数据共享3. 进程池4. 实例3. 协程 Gevent优先使用多线程,到后来可以使用多进程套用多线程;其中协程最...原创 2019-07-25 11:06:12 · 143 阅读 · 0 评论 -
第十三阶段 -- 数据分析03:Seaborn的使用
文章目录Seaborn的使用1. 简介2. 安装3. 背景风格管理4. 移除轴脊柱5. 图像风格管理6. 调色板6.1. 调色板6.2. 连续的调色板自定义连续调色板6.3. xkcd_rgb 颜色6.4. 线性调色板6.5. 色板的应用6.6. 代码示例7. 单变量7.1. distplot 直方图7.2. jointplot 散点图7.3. pairplot8. 回归分析图9. 多变量分析绘图...原创 2019-07-30 10:33:07 · 286 阅读 · 0 评论 -
第十阶段 -- Flask框架05:【Flask高级05:上传、访问文件】
文章目录1. 上传、访问文件2. 利用flask_wtf验证上传的文件3. 示例1. 上传、访问文件上传文件的步骤:在模版html中,表单需要指定encotype='multipart/form-data'才能上传文件。在后台如果想要获取上传的文件,那么应该使用request.files.get('文件名')来获取。保存文件之前,先要使用werkzeug.utils.secure_f...原创 2019-07-21 10:02:04 · 226 阅读 · 0 评论 -
第十二节段 -- 爬虫03:【数据提取(pyquery;jsonpath)】
文章目录1. pyquery1.1. 介绍 & 安装1.2. 使用方式1. 初始化方式2. 选择节点3. 获取属性4. 获取内容5. 样例2. JosnPath2.1. 简介2.2. Python中的json模块1. json.loads()2. json.dumps()3. json.dump()4. json.load()2.3. JsonPath 库2.4. JsonPath与XPa...原创 2019-07-24 21:23:59 · 568 阅读 · 0 评论 -
第十阶段 -- Flask框架04:【Flask高级视图01:类视图】
文章目录1. add_url 和 app.route原理剖析2. 标准类视图及其使用场景1. 标准类视图使用步骤2. 类视图的好处3. 视图示例4. 基于调度方法的类视图5. 类视图中使用装饰器1. add_url 和 app.route原理剖析add_url_rule(rule,endpoint=None,view_func=None)这个方法用来添加 url 与视图函数的映射。如果没...原创 2019-07-17 21:31:21 · 211 阅读 · 0 评论 -
第十阶段 -- Flask框架05:【Flask高级04:WTForms】
文章目录1. WTForms 介绍和基本作用2. WTForms 常用验证器3. WTForms 自定义验证器4. WTForms 渲染模板5. 示例1. WTForms 介绍和基本作用1.WTForms介绍: 这个插件库主要有两个作用。 第一个是做表单验证,将用户提交上来的数据进行验证是否符合系统要求。 第二个是做模版渲染。 (了解即可) 官网:https://wtf...原创 2019-07-20 11:11:06 · 200 阅读 · 0 评论 -
第十二阶段 -- 爬虫02:【request;数据提取(正则,Beautiful Soup,xpath)】
文章目录1. URLError2. request 库的用法2.1. 基本介绍2.2. get 请求2.3. post 请求2.4. 自定义请求头部2.5. 设置超时时间2.6. 代理访问2.7. session 自动保存 cookies2.8. ssl 验证2.9. request 获取相应信息3. 数据的提取3.1. 正则表达式 re (逼格最高;速度最快)1. 提取数据2. 正则表达式相关注...原创 2019-08-05 13:28:50 · 1044 阅读 · 0 评论 -
第十阶段 -- Flask框架05:【Flask高级04:信号机制】
文章目录1. 信号机制2. 信号使用场景:存储用户登录日志3. 内置信号4. 示例1. 信号机制 大白话来说,类似于两方属于敌对关系时,某人在敌对方阵营进行交谈,一旦遇到特殊情况,某人便会发送信号,他的同伙接收(监听)到他发的信号后,同伙便会做出一系列的应对策略(杀进去|撤退)。 flask中的信号使用的是一个第三方插件,叫做blinker。通过pip list看一下,如果没有安装,...原创 2019-07-19 21:22:27 · 172 阅读 · 0 评论 -
第十三阶段 -- 数据分析02:Matplotlib的使用
Matplotlib的使用Matplotlib 是一个 Python 的 2D绘图库。通过 Matplotlib,开发者可以仅需要几行代码,便可以生成绘图,直方图,功率谱,条形图,错误图,散点图等。为什么学习Matplotlib可让数据可视化,更直观的真实给用户。使数据更加客观、更具有说服力。Matplotlib是Python的库,又是开发中常用的库Matplot...原创 2019-07-29 16:12:07 · 448 阅读 · 0 评论 -
第十阶段 -- Flask框架05:【Flask高级03:钩子函数】
1. 钩子函数概念在Flask中钩子函数是使用特定的装饰器装饰的函数。为什么叫做钩子函数呢,是因为钩子函数可以在正常执行的代码中,插入一段自己想要执行的代码。那么这种函数就叫做钩子函数。2. 常见的钩子函数1. before_first_request处理项目的第一次请求之前执行。from flask import Flask,request,session,current_app,u...原创 2019-07-19 18:12:03 · 165 阅读 · 0 评论 -
第十阶段 -- Flask框架03:【Jinja2模板02:宏;include;set&with;加载静态文件;模板继承】
文章目录1. 宏的概念及基本使用2. 宏的导入和注意事项3. include 标签作用详解4. set 和 with 语句以及模板中定义变量5. Flask项目加载静态文件6. 模板继承1. 宏的概念及基本使用模板中的宏跟python中的函数类似,可以传递参数,但是不能有返回值,可以将一些经常用到的代码片段放到宏中,然后把一些不固定的值抽取出来当成一个变量,以下将用一个例子来进行解释:...原创 2019-07-17 14:08:11 · 276 阅读 · 0 评论 -
第十三阶段 -- 数据分析01:Anaconda、IPython、Jupyter Notebook配置
文章目录1. Anaconda简介下载与安装虚拟环境conda包管理器2. IPythonIPython查看帮助命令补全3. Jupyter notebookJupyter notebook启动jupyter停止jupyter设置打开浏览器为Firefox修改默认主目录文件操作单元格1. 类型:2. 模式:3. 常用快捷键:1. Anaconda简介Anaconda是Python的一个免费发...原创 2019-07-28 22:15:36 · 726 阅读 · 0 评论 -
第十阶段 -- Flask框架05:【Flask高级02:线程隔离;上下文;g对象】
文章目录1. Local对象隔离线程间的对象,threadlocal变量2. app 应用上下文详解3. request 请求上下文详解4. 线程隔离的g对象使用详解1. Local对象隔离线程间的对象,threadlocal变量local 对象:在Flask中,类似于request对象,其实是绑定到了一个werkzeug.local.Local对象上。这样,即使是同一个对象,那么在多个...原创 2019-07-19 12:00:30 · 309 阅读 · 0 评论 -
第十阶段 -- Flask框架03:【Jinja2模板01:模板;过滤器;控制语句if & for】
文章目录1. Jinja2模板介绍和查找路径2. 模板传参及其技巧3. 模板中使用url_for4. Jinja2过滤器1. 基本使用2. 过滤器介绍3. default详解4. 常用过滤器讲解5. 自定义过滤器5. 控制语句 if6. 控制语句 for1. Jinja2模板介绍和查找路径 模板是一个 web 开发必备的模块。因为我们在渲染一个网页的时候,并不是只渲染一个纯文本字符串,而...原创 2019-07-16 21:09:01 · 361 阅读 · 0 评论 -
第十二节段 -- 爬虫01
文章目录1. 常用工具1.1 fiddler 界面含义2. 爬取数据 -- url库1. 小试牛刀2. 常见到的方法3. Request对象4. Get 请求5. Post 请求6. 响应的编码7. Ajax的请求获取数据8. 请求 SSL证书验证9. 伪装自己9.1 设置请求头9.2 设置代理Proxy10. Cookie10.1 Opener10.2 Cookielib1. 常用工具1.1...原创 2019-07-23 20:07:27 · 289 阅读 · 0 评论 -
第十阶段 -- Flask框架05:【Flask高级01:cookie;session】
文章目录一. cookie1. Cookie 的基本概念2.Flask 设置和删除 cookie3. Flask 设置 cookie 的过期时间4. Flask 设置文件有效域名6. 实例二. session1. session 基本概念2. Flask 操作 session一. cookie1. Cookie 的基本概念什么是cookie: 在网站中,http请求是无状态...原创 2019-07-18 20:24:17 · 116 阅读 · 0 评论 -
第十阶段 -- Flask框架05:【Flask高级06:Restful接口】
文章目录1. RESTful接口规范2. RESTful的基本使用3. 参数验证4. 返回标准化参数5. 返回标准化参数强化6. 结合蓝图使用和渲染模板7. 示例1. RESTful接口规范Restful接口规范介绍REST:Representational State Transfer,REST 指的是一组架构约束条件和原则。满足这些约束条件和原则的应用程序或设计就是 RESTfu...原创 2019-07-21 10:02:57 · 402 阅读 · 0 评论 -
【案例】航班准点分析
文章目录1. 数据集2. 数据探索和清洗3. 起飞以及到达延迟情况4. 数据库样式1. 数据集数据集为美国各州机场的航班信息,包含出发地,目的地,是否出发延迟15分钟,是否到达延迟15分钟等。https://www.transtats.bts.gov/Fields.asp?Table_ID=236import numpy as npimport pandas as pdimport m...原创 2019-08-06 15:44:45 · 1729 阅读 · 3 评论 -
第十三阶段 -- 数据分析05:pandas
1.PandasPandas库基于Numpy库,提供很多用于数据操作与分析功能1.1. 安装与使用安装:pip install pandas | conda install pandas使用:import pandas as pd1.2. 两个常用数据类型pandas提供两个常用数据类型Series:一维的,带标签的数组对象DataFrame:二维的,带标签的数组对象...原创 2019-08-01 21:07:04 · 285 阅读 · 0 评论 -
【案例】电影数据分析
文章目录数据集数据加载数据探索和清洗评分最多电影评分最高分析评分人数中最多的百部电影评分与年龄关系数据集数据集包含3个csv文件,文件中包含电影名字,发行时间,评分用户信息,评分等信息http://grouplens.org/datasets/movielens/ (使用的dataset是older datasets)评分表 (u.data)196 242 3 8812509491...原创 2019-08-05 21:33:26 · 2427 阅读 · 0 评论 -
【案例】足球运动员分析
文章目录足球运动员分析案例需求数据集程序实现导入相关库加载相关数据集数据探索与清洗身高与体重处理运动员身高,体重,评分信息分布左脚与右脚选手在数量上是否存在偏差从球员平均分角度,拥有top10评分能力俱乐部/国家哪个俱乐部更有能力留住球员(5年及以上)足球运动员是否与出生日期相关身高与体重是否具有相关性哪些指标对评分影响最大年龄和评分具有怎样的关系足球运动员分析案例需求从众多的足球运动员中,...原创 2019-08-05 09:56:13 · 927 阅读 · 0 评论 -
第十三阶段 -- 数据分析07:多层索引
1. 多层索引多层索引(MultiIndex),具有多个层次索引,有些类似于根据索引进行分组的形式。通过多层次索引,我们可以使用高层次索引,来操作整个索引组的数据。1.1 创建方式第一种我们在创建Series或者DataFrame时,通过 index(columns) 参数传递多维数组,进而创建多级索引。多级索引可以通过names属性设置名称,每级索引的元素个数相同。第二种我们 Mul...原创 2019-08-04 20:55:14 · 627 阅读 · 0 评论 -
第十二节段 -- 爬虫11:【Scarpy 框架05:CrawlSpider】
1. CrawlSpiders原理图sequenceDiagramstart_urls ->>调度器: 初始化url调度器->>下载器: request下载器->>rules: responserules->>数据提取: responserules->>调度器: 新的url通过下面的命令可以快速创建 CrawlS...原创 2019-07-26 17:04:58 · 137 阅读 · 0 评论 -
第十三阶段 -- 数据分析04:numpy
文章目录1. 使用方式2. 数组创建2.1. arry2.2. arange2.3. ones/ones_like2.4. zeros/zeros_like2.5. empty/empty_like2.6. full/full_like2.7. eye/identity2.8. linspace2.9. logspace3. 数组 ndarray 和列表 List 比较4. 魔法命令4.1. ti...原创 2019-07-31 16:38:37 · 385 阅读 · 0 评论 -
第十二节段 -- 爬虫10:【Scarpy 框架04:练习】
从网络上爬取小说《武动乾坤》(www.biqutxt.com)【bqg.py】# -*- coding: utf-8 -*-import scrapyclass BqgSpider(scrapy.Spider): name = 'bqg' allowed_domains = ['biqutxt.com'] start_urls = ['https://www.bi...原创 2019-07-26 16:19:01 · 241 阅读 · 0 评论 -
第十阶段 -- Flask框架06:【Flask数据库02】(Flask阶段未完待续)
文章目录1. Column 常用参数2. query 查询函数使用3. filter 方法常用过滤条件4. SQLALchemy 实现外键及其四种约束讲解5. ORM 层面外键和一对多关系6. ORM 层面外键和一对一关系实现7. ORM 层面外键和多对多的关系实现1. Column 常用参数primary_key:True设置某个字段为主键。autoincrement:True设置...原创 2019-07-22 16:29:46 · 218 阅读 · 0 评论 -
第十二节段 -- 爬虫09:【Scarpy 框架03:Pipeline;Setting】
1. Pipeline1. Item Pipeline 介绍当Item 在Spider中被收集之后,就会被传递到Item Pipeline中进行处理。每个item pipeline组件是实现了简单的方法的python类,负责接收到item并通过它执行一些行为,同时也决定此Item是否继续通过pipeline,或者被丢弃而不再进行处理。item pipeline的主要作用:清理html数...原创 2019-07-26 12:42:15 · 203 阅读 · 0 评论 -
第十二节段 -- 爬虫08:【Scarpy 框架02:数据的提取、保存】
1. 数据提取1. Scrapy 提取项目从网页中提取数据,Scrapy 使用基于 XPath 和 CSS 表达式的技术叫做选择器。以下是 XPath 表达式的一些例子:这将选择 HTML 文档中的 <head> 元素中的 <title> 元素/html/head/title这将选择 <title> 元素中的文本/html/head/t...原创 2019-07-26 10:36:50 · 291 阅读 · 0 评论 -
第十三阶段 -- 数据分析06:数据的清理_整理
文章目录1. 数据分析什么是数据分析数据分析步骤2. 数据加载3. 写入文件4. 数据清洗4.1. 缺失值处理4.1.1. 发现缺失值4.1.2. 丢弃缺失值4.1.3. 填充缺失值4.2. 无效值处理检测无效值4.3. 重复值处理4.3.1. 发现重复值5. 数据过滤6. 数据转换6.1. 应用与映射6.2. 替换6.3. 字符串向量化运算7. 数据合并7.1. concat7.2. appen...原创 2019-08-03 20:25:13 · 487 阅读 · 0 评论 -
第十二节段 -- 爬虫07:【Scarpy 框架01:简介及安装】
1. Scarpy 介绍整体框架流程图:最简单的单个网页爬取流程是spiders > scheduler > downloader > spiders > item pipeline流程:引擎从调度器中取出一个链接(URL)用于接下来的抓取引擎把URL封装成一个请求(Request)传给下载器下载器把资源下载下来,并封装成应答包(Response...原创 2019-07-25 20:15:29 · 517 阅读 · 1 评论 -
第十阶段 -- Flask框架06:【Flask数据库01】
文章目录1. SQLALchemy 连接数据库2. ORM 介绍3. 定义 ORM 模型并将其映射到数据库中4. SQLAlchemy 对数据的增删改查操作 (“CRUD”操作)5. SQLAlchemy 常用数据类型1. SQLALchemy 连接数据库SQLAlchemy介绍和基本使用:数据库是一个网站的基础。Flask可以使用很多种数据库。比如MySQL,MongoDB,SQL...原创 2019-07-21 21:25:16 · 176 阅读 · 0 评论 -
第十二阶段 -- 爬虫06:【selenium】
文章目录1. Selenium2. PhantomJS2.1注意:PhantomJS(python2)2.2 python3使用的浏览器2.1.1 安装Firefox geckodriver2.1.2 安装ChromeDriver3. 使用方式4 页面操作4.1 页面交互4.1.1 获取4.1.2 输入内容4.1.3 模拟点击某个按键4.1.4 清空文本4.1.5 元素拖拽4.1.6 历史记录5 ...原创 2019-07-25 16:45:04 · 118 阅读 · 0 评论 -
第十二阶段 -- 爬虫05:【Tesseract识别验证码】
文章目录1. Tesseract介绍2. Tesseract安装包下载3. 小结4. Tesseract ocr使用5. pytesseract 的使用1. Tesseract介绍tesseract 是一个google支持的开源ocr项目其项目地址:https://github.com/tesseract-ocr/tesseract目前最新的源码可以在这里下载2. Tesseract...原创 2019-07-25 16:41:21 · 119 阅读 · 0 评论 -
第七阶段 -- 网页编程基础:【JS02】
1. DOM编程实例01<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title></title> <style><!DOCTYPE html><html> <head> <meta ch...原创 2019-07-12 09:27:35 · 212 阅读 · 0 评论 -
第十阶段 -- Flask框架04:【Flask高级视图02:蓝图】
1. 蓝图的基本使用定义:之前我们写的url和视图函数都是处在同一个文件,如果项目比较大的话,这显然不是一个合理的结构,而蓝图可以优雅的帮我们实现这种需求。 蓝图的作用就是让我们的Flask项目更加模块化,结构更加清晰,为了更好的管理项目 让项目达到分层解耦 而产生的。可以将相同模块的视图函数放在同一个蓝图下,同一个文件中,方便管理。语法:在蓝图文件中导入Bluepri...原创 2019-07-18 13:02:05 · 141 阅读 · 0 评论 -
第一阶段 -- python基础:【list、tuple、dict、set、zip()函数】
序列:字符串、列表、元祖、字典、集合1. 列表list列表的创建:方法一:[ ]创建a = [1,2,"a",True]方法二:list()创建:list(range(1,11,2))方法三:range()创建整数列表a= range(0,10,2)list(a)方法四:推导式生成 lista = [x*2 for x in range(5)]列表元素的增加和删除:...原创 2019-06-14 15:40:13 · 409 阅读 · 0 评论 -
第三阶段:【多线程】
第三阶段_day15_06/28/19【多线程】1. 多线程简介:实现多任务:1.多进程 (CPU计算密集型)2.多线程(IO密集型)多任务可以由多进程完成,也可以由一个进程内的多线程完成。我们前面提到了进程是由若干线程组成的,一个进程至少有一个线程。 由于线程是操作系统直接支持的执行单元,因此,高级语言通常都内置多线程的支持,Python也不例外,并且,Python的线程是真正...原创 2019-06-28 20:14:52 · 172 阅读 · 0 评论 -
第七阶段 -- 网页编程基础:【CSS】
1. css的引用方式<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title></title> <style> /*【2】内嵌样式*/ /*p代表标签的名称*/ p{ /*字体颜色*/ colo...原创 2019-07-09 19:54:48 · 194 阅读 · 0 评论 -
(补充)第二阶段 -- python深入与提高:【模块】
文章目录1. 模块介绍2. 模块的创建和测试代码3. 模块的导入1. import语句导入2. from ... import3. __ import __() 动态导入4. 包package的使用1. 包package的概念和结构2. pycharm中创建包3. 导入包4. 用*导入包5. 保内引用5. sys.path和模块的搜索路径6. 模块的发布和安装6. 模块的发布和安装1. 模块的本地...原创 2019-07-13 07:21:23 · 637 阅读 · 0 评论