- 博客(93)
- 收藏
- 关注
RSS订阅转载 rabbitmq简介
简介RabbitMQ的官方站：http://www.rabbitmq.com/rabbitMQ是一个在AMQP协议标准基础上完整的，可服用的企业消息系统。他遵循Mozilla Public License开源协议。采用 Erlang 实现的工业级的消息队列(MQ)服务器。 AMQP(高级消息队列协议) 是一个异步消息传递所使用的应用层协议规范，作为线路层协议，而...
2019-03-03 23:16:00
149
转载 GIT常用命令
原文地址：http://www.ruanyifeng.com/blog/2015/12/git-cheat-sheet.html一、新建代码库# 在当前目录新建一个Git代码库$ git init# 新建一个目录，将其初始化为Git代码库$ git init [project-name]# 下载一个项目和它的整个代码历史$ git clone ...
2019-03-03 22:44:00
163
转载 CMDB开发
浅谈ITILTIL即IT基础架构库(Information Technology Infrastructure Library, ITIL，信息技术基础架构库)由英国政府部门CCTA(Central Computing and Telecommunications Agency)在20世纪80年代末制订，现由英国商务部OGC(Office of Government Commerce...
2019-02-12 17:18:00
173
转载 Jupyter_notebook使用
#运行#crtl+Enter#Alt+Enter#Shirt+Enter#进入编辑模式 EnterY 单元转入代码模式 M 单元转入markdown状态#帮助（? 和 help）list?help(list)# 问得更清楚list??# 删除# 按两个d# b 向下插入# a 向上插入# tab自动补全 ...
2019-02-12 15:27:00
173
转载 Matplotlib模块：绘图和可视化
一、简单介绍Matplotlib 1、Matplotlib是一个强大的Python绘图和数据可视化的工具包 2、安装方法：pip install matplotlib 3、引用方法：import matplotlib.pyplot as plt 4、绘图函数：plt.plot() 5、显示图像：plt.show()...
2019-02-12 15:16:00
147
转载 pandas库使用
一、pandas简单介绍1、pandas是一个强大的Python数据分析的工具包。2、pandas是基于NumPy构建的。3、pandas的主要功能具备对其功能的数据结构DataFrame、Series集成时间序列功能提供丰富的数学运算和操作灵活处理缺失数据4、安装方法：pip install pandas5、引用方法：import pandas ...
2019-02-12 15:00:00
121
转载 Numpy库使用
一、NumPy：数组计算1、NumPy是高性能科学计算和数据分析的基础包。它是pandas等其他各种工具的基础。2、NumPy的主要功能：ndarray，一个多维数组结构，高效且节省空间无需循环对整组数据进行快速运算的数学函数*读写磁盘数据的工具以及用于操作内存映射文件的工具*线性代数、随机数生成和傅里叶变换功能*用于集成C、C++等代码的工具...
2019-02-12 11:58:00
504
转载 基于socket实现websocket服务
websocket原理首先，Websocket是一个持久化的协议，相对于HTTP这种非持久的协议来说。HTTP的生命周期通过Request来界定，也就是一个Request一个Response，那么在HTTP1.0中，这次HTTP请求就结束了。在HTTP1.1中进行了改进，使得有一个keep-alive，也就是说，在一个HTTP连接中，可以发送多个Request...
2019-01-20 00:23:00
653
转载 WebSocket初探
一.WebSocket简单介绍 随着互联网的发展，传统的HTTP协议已经很难满足Web应用日益复杂的需求了。近年来，随着HTML5的诞生，WebSocket协议被提出，它实现了浏览器与服务器的全双工通信，扩展了浏览器与服务端的通信功能，使服务端也能主动向客户端发送数据。 我们知道，传统的HTTP协议是无状态的，每次请求（request）都要由客户端（如 浏览器）主动发起，服务...
2019-01-20 00:01:00
80
转载 python并发编程之进程池，线程池
要注意一下不能无限的开进程，不能无限的开线程最常用的就是开进程池，开线程池。其中回调函数非常重要回调函数其实可以作为一种编程思想，谁好了谁就去掉只要你用并发，就会有锁的问题，但是你不能一直去自己加锁吧那么我们就用QUEUE，这样还解决了自动加锁的问题由Queue延伸出的一个点也非常重要的概念。以后写程序也会用到这个思想。就是生产者与消费者问题一、Python标准模块--concurr...
2019-01-19 23:32:00
91
转载 tornado框架初探
1、tornado概述Tornado就是我们在 FriendFeed 的 Web 服务器及其常用工具的开源版本。Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其 非阻塞的方式和对epoll的运用，Tornado 每秒可以处理数以千计的连接，因此 Tornado 是实时 Web 服务的一个 ...
2019-01-19 23:03:00
127
转载 自定义异步IO爬虫
"""##########浏览器的本质#############sk=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#连接 IO阻塞sk.connect(('www.baidu.com',80))print('连接成功')#连接成功后发送消息 GET请求sk.send(b'GET / HTTP/1.0...
2019-01-11 16:59:00
61
转载 爬虫高并发之异步IO
1.asyncio模块@asyncio.coroutinedef task(): print('start...') yield from asyncio.sleep(5) #不支持HTTP请求，支持TCP请求 #但HTTP请求就是基于TCP封装的，所以我们可以基于TCP协议发送 #HTTP请求 print('end')...
2019-01-11 16:37:00
155
转载 python解析PDF文档
1.安装pip install pdfminer3k2. python读取PDF文档代码分析 PDF格式不是规范格式. 尽管它被叫做"PDF文档", 但并不像word或者html文档。PDF的表现更像一张图片。PDF更像是在一张纸的各个准确的位置上把内容都摆放出来。大部分情况下，没有逻辑结构，比如句子或段落，并且不能自适应页面大小的调整。PDFMiner尝试通过猜...
2019-01-04 19:49:00
236
转载 scrapy之源码解析
"""from twisted.internet import reactor #事件循环（终止条件。所有的socket都已经以移除）from twisted.internet import defer #defer.Deferred特殊的socket对象（不会发请求，手动移除）from twisted.web.client import getPage #socket...
2019-01-04 19:22:00
145
转载 scrapy之settings参数
#==>第一部分：基本配置<===#1、项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名BOT_NAME = 'Amazon'#2、爬虫应用路径SPIDER_MODULES = ['Amazon.spiders']NEWSPIDER_MODULE = 'Amazon.spiders'#3、客户端User-Agent请求...
2019-01-04 19:18:00
177
转载 Scrapy之pipeline&扩展
1.自定义pipeline#一：可以写多个Pipeline类#1、如果优先级高的Pipeline的process_item返回一个值或者None，会自动传给下一个pipline的process_item,#2、如果只想让第一个Pipeline执行，那得让第一个pipline的process_item抛出异常raise DropItem()#3、可以用spider....
2019-01-04 19:09:00
141
转载 scrapy之中间件
1 Dowloader Middeware下载中间件的用途 1、在process——request内，自定义下载，不用scrapy的下载 2、对请求进行二次加工，比如 设置请求头 设置cookie 添加代理 scrapy自带的代理组件： from ...
2018-12-22 21:59:00
102
转载 scrapy解析库之Xpath( Selectors)
#1 //与/#2 text#3、extract与extract_first:从selector对象中解出内容#4、属性：xpath的属性加前缀@#4、嵌套查找#5、设置默认值#4、按照属性查找#5、按照属性模糊查找#6、正则表达式#7、xpath相对路径#8、带变量的xpathresponse.selector.css()re...
2018-12-22 21:51:00
554
转载 scrapy之spiders
1、介绍#1、Spiders是由一系列类（定义了一个网址或一组网址将被爬取）组成，具体包括如何执行爬取任务并且如何从页面中提取结构化的数据。#2、换句话说，Spiders是你为了一个特定的网址或一组网址自定义爬取和解析页面行为的地方2、Spiders会循环做如下事情#1、生成初始的Requests来爬取第一个URLS，并且标识一个回调函数第一个请求定义...
2018-12-22 21:29:00
112
转载 scrapy初探
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 ...
2018-12-22 21:06:00
84
转载 解析库之beautifulsoup模块
一 介绍Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现文档导航,查找,修改文档的方式，Beautiful Soup会帮你节省数小时甚至数天的工作时间，你可能在寻找Beautiful Soup3的文档,Beautiful Soup 3 目前已经停止开发,官网推荐在现在的项目中使用Beautiful Soup 4...
2018-12-22 20:13:00
56
转载 解析库之re模块
一：什么是正则？ 正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。（在Python中）它内嵌在Python中，并通过 re 模块实现。正则表达式模式被编译成一系列的字节码，然后由用 C 编写的匹配引擎执行。二：常用匹配模式(元字符)# =======================...
2018-12-21 23:28:00
100
转载 requests模块
1、Requests模块说明Requests 是使用Apache2 Licensed许可证的 HTTP 库。用 Python 编写，真正的为人类着想。Python 标准库中的urllib2模块提供了你所需要的大多数 HTTP 功能，但是它的 API 太渣了。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务。在Pytho...
2018-12-21 20:44:00
55
转载 Python爬虫原理
前言简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前；一、爬虫是什么？如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取...
2018-12-21 20:08:00
99
转载 Django之Form组件与验证规则
1、python2和python3中的区别对于python2内置的字符串类型有str和unicode 比如："abc"是字符串，u"你好"是unicode 字符串(utf-8/gbk编码之后值) unicode 对于python3内置的字符串类型有bytes和unicode bytes(utf-8/gbk编码之后值) 字符...
2018-12-06 23:34:00
89
转载 Django之Form组件归类
一、Form类创建Form类时，主要涉及到 【字段】 和 【插件】，字段用于对用户请求数据的验证，插件用于自动生成HTML;1、Django内置字段如下：1 Field 2 required=True, 是否允许为空 3 widget=None, HTML插件 4 lab...
2018-12-06 23:18:00
61
转载 Django之Form组件补充
一、定义的规则class TeacherForm(Form): #必须继承Form # 创建字段，本质上是正则表达式 username = fields.CharField( required=True, #必填字段 error_messages={"required":"用户名不能为空！！"}, #显示中文错误...
2018-12-06 23:12:00
56
转载 Django之Form组件
一、model常用操作 1、13个API查询：all，filter，get ，values，values_list，distinct，order_by ,reverse , exclude(排除)，count，first，last，esits(判断是否存在) 需要掌握的all、values、values_list的区别 all：打印的是一个QuerySet集合，一个...
2018-12-06 22:46:00
77
转载 Django之中间件
1、python2和python3中的区别对于python2内置的字符串类型有str和unicode 比如："abc"是字符串，u"你好"是unicode 字符串(utf-8/gbk编码之后值) unicode 对于python3内置的字符串类型有bytes和unicode bytes(utf-8/gbk编码之后值) 字符...
2018-12-06 22:08:00
58
转载 Django之分页升级版本（组件）
一、分页的实现与使用class Pagination(object): """ 自定义分页 """ def __init__(self,current_page,total_count,base_url,params,per_page_count=10,max_pager_count=11): try: ...
2018-12-06 21:43:00
59
转载 Django之分页初级版本
Django的分页器（paginator）view.pyfrom django.shortcuts import render,HttpResponse# Create your views here.from app01.models import *from django.core.paginator import Paginator, EmptyPage...
2018-12-06 21:38:00
64
转载 Django之用户认证auth模块
一、auth模块from django.contrib import auth1 、authenticate() ：验证用户输入的用户名和密码是否相同提供了用户认证，即验证用户名以及密码是否正确,一般需要username password两个关键字参数如果认证信息有效，会返回一个 User 对象。authenticate()会在User 对象上设置一个属...
2018-12-06 21:28:00
117
转载 Django之查询知识点总结
models.Book.objects.filter(**kwargs).values_list(title) : querySet [(),(),()]models.Book.objects.filter(**kwargs): querySet [obj1,obj2]models.Book.objects.filter(**kwargs).values(*args) ...
2018-11-24 22:42:00
59
转载 Django之ORM跨表操作（聚合查询，分组查询，F和Q查询等）
一：创建表书籍模型： 书籍有书名和出版日期，一本书可能会有多个作者，一个作者也可以写多本书，所以作者和书籍的关系就是多对多的关联关系(many-to-many); 一本书只应该由一个出版商出版，所以出版商和书籍是一对多关联关系(one-to-many)。创建一对一的关系：OneToOne("要绑定关系的表名")创建一对多的关系：ForeignKey("要绑定...
2018-11-24 22:33:00
174
转载 Bootstrap框架
1、设置默认格式3、md，sm， xs4、空格和没有空格的选择器二、响应式介绍- 响应式布局是什么？ 同一个网页在不同的终端上呈现不同的布局等- 响应式怎么实现的？ 1. CSS3 media query 媒体查询 2. JS去控制网页的布局和样式等 - 缺点：工作量大，网页响应慢 - 优点： 专治疑难杂症 3. 用框架 ...
2018-11-24 22:05:00
79
转载 Django之ORM单表操作（增删改查）
一、添加表记录对于单表有两种方式 # 添加数据的两种方式 # 方式一：实例化对象就是一条表记录 Frank_obj = models.Student(name ="海东",course="python",birth="2000-9-9",fenshu=80) Frank_obj.save() # 方式二： models.Stu...
2018-11-23 00:11:00
97
转载 django之ORM数据库操作
一、ORM介绍映射关系： 表名 --------------------》类名 字段--------------------》属性 表记录-----------------》类实例化对象ORM的两大功能： 操作表： - 创建表 - 修改表 - 删除表 操作数据行： - 增删改查ORM利用pymysql第三方...
2018-11-22 23:37:00
45
转载 Django框架之模板继承和静态文件配置
一、模板继承目的是：减少代码的冗余语法：{% block classinfo %}{% endblock %}具体步骤：1、创建一个base.html文件，2、把要显示的页面的内容写在这里面，也就是html要在浏览器显示的内容3、在html里面写个盒子{% block classinfo %}{% endblock %}在这里面...
2018-11-22 23:29:00
82
转载 Django框架之第三篇模板语法
一、什么是模板？只要是在html里面有模板语法就不是html文件了，这样的文件就叫做模板。二、模板语法分类一、模板语法之变量：语法为 {{ }}：在 Django 模板中遍历复杂数据结构的关键是句点字符 .（也就是点）views.pydef index(request): name = "hello haiyan" i = 200 ...
2018-11-22 23:18:00
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人