qq_42992919的博客

排序：
默认
按更新时间
按访问量
RSS订阅

原 HttpRequest 和 HttpResponse有什么区别

分别是做什么的 HttpRequest 是 django 接受用户发送多来的请求报文后，将报文封装到 HttpRequest 对象中去。 HttpResponse 返回的是一个应答的数据报文。render 内部已经封装好了 HttpResponse 类。 视图的第一个参数必须是 ...

2019-07-15 15:31:24

阅读数 2

评论数 0

原 Django 如何提升性能（高并发）

为什么要进行优化 对一个后端开发程序员来说，提升性能指标主要有两个一个是并发数，另一个是响应时间网站性能 的优化一般包括 web 前端性 能优化，应用服务器性能优化，存储服务器优化。 对前端的优化主要有： 减少 http 请求，减少数据库的访问量，比如使用雪碧图。 使用浏览器缓存，将一些常...

2019-07-15 15:16:54

阅读数 1

评论数 0

原 Python 中三大框架各自的应用场景

Django： 主要是用来搞快速开发的，他的亮点就是快速开发，节约成本，正常的并发量不过 10000， 如果要实现高并发的话，就要对 django 进行二次开发，比如把整个笨重的框架给拆掉，自己写 socket 实现 http 的通信，底层用纯 c，c++写提升效率，ORM 框 架给干掉，自己编写...

2019-07-15 15:13:33

阅读数 1

评论数 0

原 Django中uWSGI 和Nginx理解以及如何配合工作

理解 一. uWSGI 是一个 Web 服务器，它实现了 WSGI 协议、uwsgi、http 等协议。Nginx 中 HttpUwsgiModule 的作用是与 uWSGI 服务器进行交换。WSGI 是一种 Web 服务器网关接口。它是一 个 Web 服务器（如 nginx，uWSGI...

2019-07-15 14:59:37

阅读数 2

评论数 0

原 Django 中间件的使用

Django 在中间件中预置了六个方法，这六个方法的区别在于不同的阶段执行，对输入或输出进行干 预，方法如下： 初始化：无需任何参数，服务器响应第一个请求的时候调用一次，用于确定是否启用当前中间件 def __init__(): pass 处理请求前：在每个请求上调用，返回 None ...

2019-07-15 14:54:21

阅读数 1

评论数 0

原 Python后端RESTfulAPI 设计规范的理解

一、域名 将 api 部署在专用域名下：http://api.example.com。 或者将 api 放在主域名下：http://www.example.com/api/。 二、版本 将 API 的版本号放在 url 中。http://www.example.com/app/1.0...

2019-07-15 14:21:44

阅读数 1

评论数 0

原 常见的 HTTP 头及其作用

http 请求中的常用头（请求头）的含义 * http 请求是指从客户端到服务器端的请求消息。包括：消息首行中，对资源的请求方法、资源的标 识符及使用的协议 Accept：告诉服务器，客户端支持的数据类型。 Accept-Charset：告诉服务器，客户端采用的编码。 Accept-En...

2019-07-15 14:10:36

阅读数 2

评论数 0

原 对于MySQL 数据库查询技巧的优化建议

对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索 引。 应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表 扫描，如：select id from t...

2019-07-15 13:57:36

阅读数 4

评论数 0

原 如何编写清晰可读的的Python代码

初衷 python是一个入门十分容易的编程语言，但是想要写好python却是一件不容易的事情，如果不是专业使用python的人，只是将2. python作为一个脚本语言或者用来处理数据，到了掌握基本的语法之后，便不再寻求进步。但是相信每个学习python的人都知3. 道pythonic这个单词，...

2019-07-15 13:46:12

阅读数 4

评论数 0

原 Python 垃圾回收机制和如何解决循环引用

引用计数：是一种垃圾收集机制，而且也是一种最直观，最简单的垃圾收集技术, 当一个对象的引用被创建或者复制时，对象的引用计数加 1；当一个对象的引用被销毁时，对象的引用计数减 1；当对象的引用计数减少为 0 时，就意味着对象已经没有被任何人使用了，可以将其所占用的内存释放了。虽然引用计数必须在每次分...

2019-07-15 13:18:11

阅读数 12

评论数 0

原 Scrapy爬虫框架高级应用

Scrapy爬虫框架高级应用 Spider的用法 在Scrapy框架中，我们自定义的蜘蛛都继承自scrapy.spiders.Spider，这个类有一系列的属性和方法，具体如下所示： name：爬虫的名字。 allowed_domains：允许爬取的域名，不在此范围的链接不会被跟进爬取。 sta...

2019-07-13 15:07:16

阅读数 7

评论数 0

原 Scrapy爬虫框架入门

Scrapy概述 Scrapy是Python开发的一个非常流行的网络爬虫框架，可以用来抓取Web站点并从页面中提取结构化的数据，被广泛的用于数据挖掘、数据监测和自动化测试等领域。下图展示了Scrapy的基本架构，其中包含了主要组件和系统的数据处理流程（图中带数字的红色箭头）。 组件 Scrap...

2019-07-13 15:06:28

阅读数 8

评论数 0

原 Python如何爬取动态网页内容

解析动态内容 根据权威机构发布的全球互联网可访问性审计报告，全球约有四分之三的网站其内容或部分内容是通过JavaScript动态生成的，这就意味着在浏览器窗口中“查看网页源代码”时无法在HTML代码中找到这些内容，也就是说我们之前用的抓取数据的方式无法正常运转了。解决这样的问题基本上有两种方案，一...

2019-07-13 15:04:09

阅读数 9

评论数 0

原 Python爬虫之并发下载

并发下载 多线程和多进程回顾 在前面的《进程和线程》一文中，我们已经对在Python中使用多进程和多线程实现并发编程进行了简明的讲解，在此我们补充几个知识点。 threading.local类 使用线程时最不愿意遇到的情况就是多个线程竞争资源，在这种情况下为了保证资源状态的正确性，我们可能需要对资...

2019-07-13 15:02:51

阅读数 7

评论数 0

原 Python爬虫之储存海量数据

存储数据 存储海量数据 数据持久化的首选方案应该是关系型数据库，关系型数据库的产品很多，包括：Oracle、MySQL、SQLServer、PostgreSQL等。如果要存储海量的低价值数据，文档数据库也是不错的选择，MongoDB是文档数据库中的佼佼者，之前我们已经讲解过MongDB的相关知识，...

2019-07-13 14:53:16

阅读数 8

评论数 0

原 Python爬虫中的数据采集和分析

数据采集和解析 通过《网络爬虫和相关工具》一文，我们已经了解到了开发一个爬虫需要做的工作以及一些常见的问题，至此我们可以对爬虫开发需要做的工作以及相关的技术做一个简单的汇总，这其中可能会有一些我们之前没有使用过的第三方库，不过别担心，这些内容我们稍后都会一一讲到。 下载数据 - urllib /...

2019-07-13 14:52:43

阅读数 8

评论数 0

原 Tornado值Websocket的应用

WebSocket的应用 Tornado的异步特性使其非常适合处理高并发的业务，同时也适合那些需要在客户端和服务器之间维持长连接的业务。传统的基于HTTP协议的Web应用，服务器和客户端（浏览器）的通信只能由客户端发起，这种单向请求注定了如果服务器有连续的状态变化，客户端（浏览器）是很难得知的。事...

2019-07-13 14:51:33

阅读数 7

评论数 0

原 Tornado异步化

异步化 在前面的例子中，我们并没有对RequestHandler中的get或post方法进行异步处理，这就意味着，一旦在get或post方法中出现了耗时间的操作，不仅仅是当前请求被阻塞，按照Tornado框架的工作模式，其他的请求也会被阻塞，所以我们需要对耗时间的操作进行异步化处理。 在Torna...

2019-07-13 14:50:31

阅读数 7

评论数 0

原 Tornado入门

Tornado概述 Python的Web框架种类繁多（比Python语言的关键字还要多），但在众多优秀的Web框架中，Tornado框架最适合用来开发需要处理长连接和应对高并发的Web应用。Tornado框架在设计之初就考虑到性能问题，通过对非阻塞I/O和epoll（Linux 2.5.44内核引...

2019-07-13 14:50:01

阅读数 8

评论数 0

原 tornado入门必备知识

预备知识 并发编程 所谓并发编程就是让程序中有多个部分能够并发或同时执行，并发编程带来的好处不言而喻，其中最为关键的两点是提升了执行效率和改善了用户体验。下面简单阐述一下Python中实现并发编程的三种方式： 多线程：Python中通过threading模块的Thread类并辅以Lock、Co...

2019-07-13 14:48:56

阅读数 7

评论数 0

提示
确定要删除当前文章？
取消 删除
关闭
关闭