![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python开发
文章平均质量分 78
唯恋殊雨
这个作者很懒,什么都没留下…
展开
-
Python学习笔记——爬虫之urllib数据抓取
目录urllib库的基本使用Get方式POST方式:获取AJAX加载的内容Handler处理器 和 自定义Openerurllib库的基本使用所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。 在Python中有很多库可以用来抓取网页,我们先学习urllib。在 python2 中,urllib 被分为urllib,urllib2等u...原创 2018-08-31 11:54:38 · 4578 阅读 · 0 评论 -
Python学习笔记——Django常用
目录静态文件中间件Admin站点列表页选项编辑页选项重写模板上传图片在管理页面admin中上传图片自定义form表单中上传图片显示图片分页示例:省市区选择常用到此为止,关于Django框架的三大块M、V、T已经全部讲完了,接下来学习一些其它的知识点,这些知识点不在三大块范围内,Django提供了这些功能后,可以帮助我们更快更好的完成开发。...原创 2018-08-25 20:49:21 · 568 阅读 · 0 评论 -
Python学习笔记——多任务-协程
目录迭代器生成器协程greenletgevent进程、线程、协程对比并发下载器迭代器迭代是访问集合元素的一种方式。迭代器是一个可以记住遍历的位置的对象。迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束。迭代器只能往前不会后退。1. 可迭代对象我们已经知道可以对list、tuple、str等类型的数据使用for...in...的循环语法...原创 2018-09-04 19:18:11 · 324 阅读 · 0 评论 -
Python学习笔记——WSGI、mini-web框架
目录服务器动态资源请求应用程序示例Web动态服务器-基本实现mini web框架-1-文件结构mini web框架-2-显示页面mini web框架-3-替换模板服务器动态资源请求1. 浏览器请求动态页面过程2. WSGI怎么在你刚建立的Web服务器上运行一个Django应用和Flask应用,如何不做任何改变而适应不同的web架构呢?在以前,选择 P...原创 2018-09-04 20:13:10 · 1528 阅读 · 3 评论 -
Python学习笔记——闭包、装饰器
目录闭包装饰器闭包1. 函数引用def test1(): print("--- in test1 func----")# 调用函数test1()# 引用函数ret = test1print(id(ret))print(id(test1))#通过引用调用函数ret()运行结果:--- in test1 func----1402125...原创 2018-09-04 20:14:42 · 226 阅读 · 0 评论 -
Python学习笔记——mini-web框架 添加路由、MySQL功能
目录mini web框架-4-路由伪静态、静态和动态的区别mini-web框架-实现伪静态url准备数据mini-web框架-从mysql中查询数据mini-web框架-组装数据为html格式mini web框架-4-路由dynamic/my_web.pyimport timeimport osimport retemplate_root = "./...原创 2018-09-04 20:17:13 · 461 阅读 · 0 评论 -
Python学习笔记——mini-web框架 添加log日志、路由支持正则
目录mini-web框架-路由支持正则mini-web框架-mysql-增mini-web框架-mysql-删mini-web框架-mysql-改mini-web框架-url编码logging日志模块mini-web框架-路由支持正则import pymysqlimport timeimport osimport retemplate_root = "....原创 2018-09-04 20:20:01 · 712 阅读 · 0 评论 -
Python学习笔记——元类、实现ORM
目录元类1. 类也是对象2. 动态地创建类3. 使用type创建类4. 使用type创建带有属性的类5. 使用type创建带有方法的类6. 到底什么是元类(终于到主题了)7. __metaclass__属性8. 自定义元类元类实现ORM1. ORM是什么2. 通过元类简单实现ORM中的insert功能3. 完善对数据类型的检测4. 抽取到基类...原创 2018-09-04 20:21:37 · 438 阅读 · 0 评论 -
Python学习笔记——Pygame之基础知识
Pygame基础知识GUI vs. CLI使用Python的内建函数编写的Python程序,只能够通过print()和input()函数来处理文本。程序可以在屏幕上显示文本,并且让用户通过键盘来输入文本。这类程序有一个命令行界面(command line interface,CLI)。这些程序多少有些局限性,因为它们不能显示图形,没有颜色,并且不能使用鼠标。这种CLI程序只是使用input...原创 2018-09-07 20:03:05 · 14007 阅读 · 2 评论 -
Python学习笔记——Django模板
目录模板模板语言模板变量标签过滤器自定义过滤器注释模板继承HTML转义CSRF验证码反向解析模板作为Web框架,Django提供了模板,用于编写html代码,还可以嵌入模板代码更快更方便的完成页面开发,再通过在视图中渲染模板,将生成最终的html字符串返回给客户端浏览器。模版致力于表达外观,而不是程序逻辑。模板的设计实现了业务逻辑view与显...原创 2018-08-25 19:36:44 · 1309 阅读 · 0 评论 -
Python学习笔记——Flask模板
目录3.1 模板3.2 过滤器:3.3 Web表单:3.4 控制语句3.5 宏、继承、包含3.6 Flask中的特殊变量和方法:3.1 模板在前面的示例中,视图函数的主要作用是生成请求的响应,这是最简单的请求。实际上,视图函数有两个作用:处理业务逻辑和返回响应内容。在大型应用中,把业务逻辑和表现内容放在一起,会增加代码的复杂度和维护成本。本节学到的模板,它的作用即是...原创 2018-08-29 20:48:47 · 2079 阅读 · 0 评论 -
Python学习笔记——自动化部署
目录pexpectfabricpexpectPexpect 是 Don Libes 的 Expect 语言的一个 Python 实现,是一个用来启动子程序,并使用正则表达式对程序输出做出特定响应,以此实现与其自动交互的 Python 模块。 Pexpect 的使用范围很广,可以用来实现与 ssh、ftp 、telnet 等程序的自动交互;可以用来自动复制软件安装包并在不同机器自动安...原创 2018-09-04 09:58:02 · 4376 阅读 · 0 评论 -
Python学习笔记——Django视图
目录视图URLconf视图HttpReqeust对象QueryDict对象GET属性POST属性HttpResponse对象子类JsonResponse子类HttpResponseRedirect状态保持CookieSession视图视图的功能视图负责接受Web请求HttpRequest,进行逻辑处理,返回Web响应HttpRespo...原创 2018-08-24 11:32:18 · 494 阅读 · 0 评论 -
Python学习笔记——Redis操作
目录介绍安装配置服务端和客户端命令数据结构string类型键命令hash类型list类型set类型zset类型与Python交互安装包stringdjango存储session搭建主从搭建集群配置机器1配置机器2创建集群Python交互介绍nosql介绍NoSQL:一类新出现的数据库(not only ...原创 2018-08-21 14:50:10 · 682 阅读 · 0 评论 -
Python学习笔记——Tornado异步与WebSocket
目录7.1 认识异步1. 同步2. 异步2.1 回调写法实现原理2.2 协程写法实现原理思考7.2 Tornado异步1. tornado.httpclient.AsyncHTTPClientfetch(request, callback=None)HTTPRequestHTTPResponse2. 测试接口3. 回调异步tornado.we...原创 2018-08-28 19:19:47 · 7361 阅读 · 3 评论 -
Python学习笔记——Tornado部署
目录8.1 部署Tornado1. supervisor安装配置启动supervisorctl2. nginx8.1 部署Tornado为了充分利用多核CPU,并且为了减少同步代码中的阻塞影响,在部署Tornado的时候需要开启多个进程(最好为每个CPU核心开启一个进程)因为Tornado自带的服务器性能很高,所以我们只需开启多个Tornado进程。为了对外...原创 2018-08-28 19:21:58 · 2017 阅读 · 3 评论 -
Python学习笔记——Flask入门
目录认识Flask通过对比来了解Flask:Django:Flask:1.1 了解框架:为什么要用Web框架?Flask框架的诞生:1.2 安装环境1.2.1 安装Flask1.2.2 安装Flask依赖包认识Flask通过对比来了解Flask:Django:Python Web框架里比较有名当属Django,Django功能全面,它提供一站...原创 2018-08-29 16:01:20 · 578 阅读 · 0 评论 -
Python学习笔记——Flask视图
目录2.1 从 Hello World 开始Flask程序运行过程:查看视图函数中的路由:给路由传参示例:返回状态码示例:abort函数:捕获异常:重定向redirect示例正则URL示例:设置cookie和获取cookie2.2 扩展请求上下文(request context)应用上下文(application context)请求钩子...原创 2018-08-29 16:03:25 · 599 阅读 · 0 评论 -
Python学习笔记——运维和Shell
目录什么是运维运维第一工具-shell编程shell历史执行脚本基本语法Shell脚本语法条件测试:test [if/then/elif/else/ficase/esacfor/do/donewhile/do/donebreak和continue位置参数和特殊变量shell输入输出函数Shell脚本的调试方法正则表达式grep...原创 2018-09-04 09:52:49 · 1983 阅读 · 0 评论 -
Python学习笔记——nginx
目录nginx安装配置反向代理反向代理服务器的基本配置负载均衡nginx安装下载必要组件 nginx下载地址 http://nginx.org/en/download.html pcre库下载地址,nginx需要 http://sourceforge.net/projects/pcre/files/pcre/ zlib下...原创 2018-09-04 09:55:42 · 1513 阅读 · 0 评论 -
Python学习笔记——Flask数据库
目录4.1 数据库的设置4.2 数据库基本操作将数据添加到会话中示例:在视图函数中定义模型类常用的SQLAlchemy查询过滤器常用的SQLAlchemy查询执行器创建表:删除表插入一条数据一次插入多条数据查询:filter_by精确查询first()返回查询到的第一个对象all()返回查询到的所有对象filter模糊查询,返回名字结尾字符为...原创 2018-08-30 13:06:06 · 7949 阅读 · 0 评论 -
Python学习笔记——爬虫之非结构化数据与结构化数据提取
目录正则表达式re模块案例:使用正则表达式的爬虫XPath与lxml类库案例:使用XPath的爬虫数据提取之JSON与JsonPATH糗事百科实例:多线程糗事百科案例页面解析和数据提取一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一般分为两部分,非结构化的数据 和 结构化的数据。非结构化数据:先有数据,再有结构,(http:...原创 2018-09-02 10:59:55 · 6805 阅读 · 0 评论 -
Python学习笔记——爬虫之BeautifulSoup4数据提取
目录CSS 选择器:BeautifulSoup4四大对象种类1. Tag2. NavigableString3. BeautifulSoup4. Comment遍历文档树1. 直接子节点 :.contents .children 属性2. 所有子孙节点: .descendants 属性3. 节点内容: .string 属性搜索文档树1.find_al...原创 2018-09-02 11:06:27 · 28906 阅读 · 2 评论 -
Python学习笔记——大数据之Spark简介与环境搭建
目录spark生态系统spark的存储层次spark on yarn1.hadoop集群搭建(master+slave01)集群机器准备配置ssh无密码访问集群jdk与hadoop安装包安装1.2.配置hadoop环境集群配置启动hadoop集群1.3.scala安装1.4.Spark安装以及配置Spark安装Spark配置Spark集群...原创 2018-09-03 20:59:28 · 2188 阅读 · 0 评论 -
Python学习笔记——大数据之SPARK核心
目录RDD的特点RDD 分为二类:transformation 和 action。RDD运行逻辑2.1一个段子理解MapReduce辣酱段子2.2RDD操作函数transformationaction函数具体功能介绍2.3哈姆雷特单词分析案例hdfs文件操作spark运行原理程序分析sc RDD(Resilient Distribute...原创 2018-09-03 21:01:57 · 617 阅读 · 0 评论 -
Python学习笔记——大数据之Pyspark与notebook使用matplotlib
目录简略Spark输出Ipython notebook3.1matplotlib介绍使用环境API入门刻度、标签、图列添加图例在subplot上注释将图表保存到文件3.2ipython notebook本地运行4.1主程序简略Spark输出Spark(和PySpark)的执行可以特别详细,很多INFO日志消息都会打印到屏幕。开发过程中,这些非...原创 2018-09-03 21:03:51 · 2598 阅读 · 0 评论 -
Python学习笔记——云计算
原创 2018-09-03 21:21:37 · 7416 阅读 · 2 评论 -
Python学习笔记——数据分析之Seaborn绘图
目录数据集分布可视化单变量分布 sns.distplot()直方图 sns.distplot(kde=False)核密度估计 sns.distplot(hist=False) 或 sns.kdeplot()双变量分布散布图 sns.jointplot()二维直方图 Hexbin sns.jointplot(kind=‘hex’)核密度估计 sns.jointplot...原创 2018-09-06 11:42:46 · 2790 阅读 · 1 评论 -
Python学习笔记——数据分析之Bokeh绘图
目录BokehBokeh接口包引用bokeh.charts散点图 Scatter柱状图 Bar盒子图 BoxPlot弦图 Chordbokeh.plotting方框 square, 圆形 circlehttp://bokeh.pydata.org/en/latestBokeh是一个专门针对Web浏览器的呈现功能的交互式可视化Python库。这...原创 2018-09-06 11:46:38 · 14634 阅读 · 1 评论 -
Python学习笔记——数据分析之数据可视化工具实战案例:世界高峰数据可视化
世界高峰数据可视化 (World's Highest Mountains)参考:https://www.kaggle.com/alex64/d/abcsds/highest-mountains/let-s-climbimport pandas as pdimport matplotlib.pyplot as pltfrom matplotlib import stylest...原创 2018-09-06 11:49:01 · 1021 阅读 · 0 评论 -
Python学习笔记——科学计算工具Numpy
目录Numpy(Numerical Python)numpy的常用操作numpy中常见的更多数据类型数据类型的操作数组的形状数组和数的计算数组和数组的计算广播原则轴二维数组的轴三维数组的轴numpy读取数据numpy中的转置numpy索引和切片numpy中数值的修改numpy中布尔索引numpy中三元运算符numpy中的...原创 2018-09-06 12:00:04 · 963 阅读 · 0 评论 -
Python学习笔记——爬虫之Scrapy-Redis实战
目录从零搭建Redis-Scrapy分布式爬虫一、安装Redis二、修改配置文件 redis.conf三、测试Slave端远程连接Master端四、Redis数据库桌面管理工具源码自带项目说明:使用scrapy-redis的example来修改一、dmoz (class DmozSpider(CrawlSpider))二、myspider_redis (clas...原创 2018-09-03 19:43:28 · 3532 阅读 · 2 评论 -
Python学习笔记——爬虫之Scrapy-Redis分布式组件
目录Scrapy 和 scrapy-redis的区别ConnectionDupefilterPicklecompatPipelinesQueueSchedulerSpiderScrapy 和 scrapy-redis的区别Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以re...原创 2018-09-03 19:36:33 · 448 阅读 · 0 评论 -
Python学习笔记——爬虫之通过Fiddler进行手机抓包
原创 2018-09-03 19:33:40 · 902 阅读 · 0 评论 -
Python学习笔记——爬虫的思路总结
实现爬虫的套路 准备url 准备start_url url地址规律不明显,总数不确定 通过代码提取下一页的url xpath 寻找url地址,部分参数在当前的响应中(比如,当前页码数和总的页码数在当前的响应中) 准备url_list 页码总数明确 url地址规律明显 发送请求,获取响应 添加随机的User-Agent,反反爬虫 添加随...原创 2018-09-02 11:53:40 · 447 阅读 · 0 评论 -
Python学习笔记——爬虫之动态HTML处理和机器图像识别
目录动态HTML介绍JavaScriptjQueryAjaxDHTMLSelenium与PlantomJSSeleniumPhantomJS案例一:网站模拟登录案例二:动态页面模拟点击机器视觉与Tesseract介绍处理给规范的文字尝试对验证码进行机器识别处理爬虫(Spider),反爬虫(Anti-Spider),反反爬虫(Anti-Anti...原创 2018-09-02 19:16:42 · 3310 阅读 · 0 评论 -
Python学习笔记——爬虫之执行JavaScript语句与训练Tesseract
目录案例三:执行 JavaScript 语句参考阅读:训练Tesseract创建样本库训练Tesseract案例三:执行 JavaScript 语句 隐藏百度图片 from selenium import webdriverdriver = webdriver.PhantomJS()driver.get("https://www.baidu.com/")# ...原创 2018-09-02 19:18:46 · 780 阅读 · 0 评论 -
Python学习笔记——爬虫之Scrapy框架
目录Scrapy 框架Scrapy的安装介绍Windows 安装方式Ubuntu 需要9.10或以上版本安装方式入门案例启动Scrapy ShellItem PipelineSpiderCrawlSpidersRequestResponse发送POST请求模拟登陆知乎爬虫案例参考:反反爬虫相关机制设置下载中间件(Downloader ...原创 2018-09-02 19:24:04 · 1142 阅读 · 0 评论 -
Python学习笔记——Celery
目录celery介绍Task QueueCelery安装 BrokerApplication1.创建应用2.调用任务3.存储结果配置1.直接通过app来配置2.专有配置文件项目中使用Celery调用任务(Calling Task)Designing Work-flowsRoutingPeriodic TasksDjango使用Ce...原创 2018-09-05 10:29:10 · 7165 阅读 · 0 评论 -
Python学习笔记——数据分析之Matplotlib绘图
目录figuresubplot直方图:hist散点图:scatter柱状图:bar矩阵绘图:plt.imshow()plt.subplots()颜色、标记、线型刻度、标签、图例matplotlib基本要点设置图片大小调整X或者Y轴上的刻度设置中文显示给图像添加描述信息自定义绘制图形的风格为每条线添加图例Matplotlib 是...原创 2018-09-05 17:16:03 · 2496 阅读 · 0 评论