- 博客(261)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Python乱码解决以及sys编码格式
1.Python中文乱码解决① 错误：SyntaxError: Non-ASCII character '\xe9' in file② 解决：加上# -*- coding: utf-8 -*-,代码如下： # -*- coding: utf-8 -*- print '中文乱码' 2.修改系统模块（sys）的编码格式2.1.方式一： #...
2019-11-14 14:18:36
963
原创 爬虫如何解决验证码的问题
今天要聊的就是在爬虫遇到验证码，如何去解决。 1.前言：关于验证码，我觉得是很low逼的技术，但是很多面试官都会问到如何解决验证码，好像是能识别验证的就代表了爬虫工程师的技术很牛逼，相反，爬虫工程师就是菜鸟。我觉得以此来评价爬虫工程师的水平高低，是非常不合理的。 2. 网站为何要用验证码？ 网站担心别人暴力破解刷票、论坛灌水、刷页，防止爬虫爬取数据，防止别人利用短信验证...
2019-11-13 19:33:31
1258
原创 python爬虫---requests库的用法
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多因为是第三方库，所以使用前需要cmd安装pip install requests安装完成后import一下，正常则说明可以开始使用了。基本用法：requests.get()用于请求目标网站，类型是一个HTTPresponse类型import requestsrespons...
2019-11-13 19:32:02
117
原创 http压测工具wrk使用
安装wrk支持大多数类UNIX系统，不支持windows。需要操作系统支持LuaJIT和OpenSSL，不过不用担心，大多数类Unix系统都支持。安装wrk非常简单，只要从github上下载wrk源码，在项目路径下执行make命令即可。 git clone https://github.com/wg/wrk cd 安装目录 makemake之后，会在项目路径下生成可执行...
2019-11-08 10:06:24
204
原创 python中模块的__all__详细使用
python模块中的__all__，用于模块导入时限制，如：from module import *此时被导入模块若定义了__all__属性，则只有__all__内指定的属性、方法、类可被导入；若没定义，则导入模块内的所有公有属性，方法和类。1.实例1#bb.pyclass A(): def __init__(self,name,age): self.nam...
2019-11-07 20:07:52
629
原创 python打包工具distutils、setuptools分析
在上一篇博文中总结了python中导入包，安装包一条完整的线路。其中有一个有意思的知识点，安装包的方式有很多种，模块和包管理中打包，发布，安装也是值得研究的内容。python中安装包的方式有很多种：源码包：python setup.py install 在线安装：pip install 包名（linux） / easy_install 包名(window)python包在开发中十分常见...
2019-11-07 16:15:37
282
原创 在windows环境下如何实现signal.alarm()超时运行功能
使用threading.thread 来解决这个问题，这是我在stackoverflow上看到的解答我简单的写一下我的理解因为windows操作系统的原因 缺少linux对应的线程信号 所以网上给出的一般用于linux的方式在windows中并不行。我用的方法原理是 将要运行的函数放入子线程中 通过设定子线程的阻塞时间，超时则主线程并不会等待子线程的执行，主线程退出时，子线...
2019-11-03 22:22:30
1983
原创 python输出带颜色字体详解
在python开发的过程中，经常会遇到需要打印各种信息。海量的信息堆砌在控制台中，就会导致信息都混在一起，降低了重要信息的可读性。这时候，如果能给重要的信息加上字体颜色，那么就会更加方便用户阅读了。 当然了，控制台的展示效果有限，并不能像前段一样炫酷，只能做一些简单的设置。不过站在可读性的角度来看，已经好很多了。书写格式： 开头部分：\033[显示方式;前景色;背景色m ...
2019-10-31 13:57:15
717
原创 vmware虚拟机转换格式qcow2和raw
目前在做TensorFlow分布式，采用ubuntu1804发现云上镜像有问题，把自己安装的虚拟机做一份qcow2镜像apt-get install dnsmasq libvirt-daemon-system qemu-kvm qemu-utils virt-manager这个可以安装qemu（kail2）qemu-img convert -f vmdk -O qcow2...
2019-10-21 13:41:37
1142
原创 Linux使用Backspace（消除键）键时出现^H 解决方法
Linux使用Backspace键时出现^H 解决方法有的时候在linux下操作时输错内容需要删除时按backspace键总是出现^H，解决方法就是要使用回删键（backspace）时，同时按住ctrl键 。...
2019-10-16 16:55:11
3463
原创 深入理解计算机系统
零.计算机系统漫游1.程序被翻译成不同的格式预处理阶段 （#include<stdio.h> 得到另一个C程序）编译阶段汇编阶段链接阶段2.处理器从程序计数器PC指向的存储器读取指令，解释指令中的位，执行指令指示的简单操作，然后更新指向新程序计数器的下一条指令3.CPU在指令的要求下可能会执行这些操作3.上下文操作系统保存进程运行所需...
2019-09-17 21:57:24
94
原创 TCP首部格式
先看TCP报文段的格式，如下;TCP报文段首部的前20个字节是固定的，后面有4N字节是根据需要而增加的选项。因此TCP报文段的最小长度为20个字节。首部固定部分的各字段的意义如下：1、源端口和目的端口：加上IP首部的源IP地址和目的IP地址，确定唯一的一个TCP连接。另外通过目的端口来决定TCP将数据报交付于那个应用程序，从而实现TCP的分用功能。...
2019-09-17 21:55:26
278
原创 django框架由lru_cache导致的bug，Testing Client-Side Applications with Django Post Mortem
I had the opportunity to give awebcast for O’Reilly Mediaduring which I encountered a presenter’s nightmare: a broken demo. Worse than that it was a test failure in a presentation about testing. Is ...
2019-07-26 05:56:48
388
转载 Python的__getattr__和__getattribute__
Python的__getattr__和__getattribute____getattr____getattr__在当前主流的Python版本中都可用，重载__getattr__方法对类及其实例未定义的属性有效。也就属性是说，如果访问的属性存在，就不会调用__getattr__方法。这个属性的存在，包括类属性和实例属性。Python官方文档的定义Called when an att...
2019-07-04 15:07:43
782
转载 python3中__get__,__getattr__,__getattribute__的区别
__get__,__getattr__和__getattribute都是访问属性的方法，但不太相同。object.__getattr__(self, name)当一般位置找不到attribute的时候，会调用getattr，返回一个值或AttributeError异常。object.__getattribute__(self, name)无条件被调用，通过实例访问属性。如果clas...
2019-07-04 15:06:01
288
转载 python中cPickle用法
在python中，一般可以使用pickle类来进行python对象的序列化，而cPickle提供了一个更快速简单的接口，如python文档所说的：“cPickle – A faster pickle”。cPickle可以对任意一种类型的python对象进行序列化操作，比如list，dict，甚至是一个类的对象等。而所谓的序列化，我的粗浅的理解就是为了能够完整的保存并能够完全可逆的恢复。在cPi...
2019-06-30 12:21:13
524
转载 Python3 * 和 ** 运算符
在 Python 中，* 和 ** 具有语法多义性，具体来说是有四类用法。1. 算数运算* 代表乘法** 代表乘方>>> 2 * 510>>> 2 ** 5322. 函数形参*args 和 **kwargs 主要用于函数定义。你可以将不定数量的参数传递给一个函数。不定的意思是：预先并不知道, 函数使用者会传递多少个参数给你, 所...
2019-06-30 10:47:54
194
转载 自学 Python后端开发 到什么程度可以找工作
前两天，在群里收到一个群友（强哥）跳槽成功的消息。真心为其感到高兴。为了找到一个更好的平台，为了拿到更理想的薪酬。他在面试前期做了相当多的准备（机会永远是留给有准备的人，这一点值得学习），写了很多关于面试真题的相关内容.之前有许多读者会在微信上问我，「自学 Python 后端开发 到什么程度才可以出去找工作？」，由于我本人不从事后端开发，所以无法给出合理的建议。正好借着强哥这篇经验分享，希望能给大...
2019-06-30 09:46:39
5699
2
转载 Python time&timeit 模块
一、time 模块1. 时间表现形式timestamp：时间戳，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量struct_time： 时间元组，共有九个元素组format time： 格式化时间，已格式化的结构使时间更具可读性。包括自定义格式和固定格式2. 时间格式转换图3. 常用方法# 1、获取当前时间time.time() # 获取当前...
2019-06-28 22:38:40
276
转载 Django 2.0 学习(06)：Django 视图(进阶)
概述Django中的特方法，该方法代表了Django的Web页面，并且视图具有特定的模板。以博客应用为例进行说明，在博客应用中应该包含下面的视图：博客主页：显示最近的一些记录； 详细页面：单个详细页面的入口； 年/月/日：存档页面，显示记录的所有年/月/日； 评论动作：分发评论请求到对应入口；在poll应用中，我们将会创建如下视图：Question "index"页面：显示最近...
2019-06-27 16:28:38
231
转载 Django 2.0 学习(05)：Django Admin
Django Admin站点的管理者，而非访问者。创建admin用户首先，执行下面命令：python manage.py createsuperuser其次，输入用户名和密码：Username：admin在输入用户名之后，会提示输入邮箱地址，随便输入即可：Email address：admin@example.com最后，输入密码(最好使用数字和字符的组合...
2019-06-27 16:28:08
375
转载 Django 2.0 学习(04)：Django数据库
数据库设置/配置打开mysite/settings.py，我们会发现Django是用的是默认的数据库SQLite，如下图所示：Django也是支持其它数据库的，比如PostgreSQL、MySQL、Oracle等数据库，如果我们想是用其他数据库，只需要安装对应的数据库并且更改settings.py文件中DATABASES项就可以实现，具体参考数据库设置。ENGINE：数据库引擎，可选择...
2019-06-27 16:27:36
149
转载 Django 2.0 学习(03)：Django视图和URL(下)
接上篇博文，继续分析Django基本流程。编写第一个(view)视图函数1、打开文件polls/views.py，输入下面的Python代码：from django.http import HttpResponsedef index(request): return HttpResponse("Hello World! You're at the polls index...
2019-06-27 16:26:59
108
转载 Django 2.0 学习(02)：Django视图和URL(上)
接上篇博文，接下来我们以具体代码例子来说明Django的基本流程。创建项目使用Win+R，输入cmd进图windows命令行模式； 再你想要存放项目工作的磁盘，输入下面命令：django-admin startproject mysite # 项目名字注：这里的项目名字不能与Pyhton或者Django的组件或者模块冲突，比如：django、test这些项目名称都是会冲突的。...
2019-06-27 16:26:21
116
转载 Django 2.0 学习(01)：Django初识与安装
Django（Python Web框架）Django是一个开放源代码的Web框架，用Python写的。采用了MTV的框架模式，即模型M，模板T和视图V。它最初被开发是用来管理以新闻内容为主的网站，即是CMS(内容管理系统)软件。并于2005年7月在BSD许可证下发布。Django是一个基于MVC构造的框架，但是在Django中，控制器接受用户输入的部分由框架自行处理，所以Django里更关注...
2019-06-27 16:24:58
155
转载 OpenStack Paste.ini详解(二)
接着OpenStack Paste.ini详解(一)，接下来就分析request被paste.ini处理的流程WSGI server接收到URL形式的request时，这些request首先会被Paste模块按照配置文件paste.ini进行处理，其过程大致如下：composite：将request和application进行映射。然后将request转发到pipeline或app中，最终...
2019-06-27 16:24:12
167
转载 OpenStack Paste.ini详解(一)
问题背景最近在研究openstack 服务的源代码，由于项目代码较多对其又不熟悉，刚开始就不知道从哪里开始入手分析。经过分析发现，在正式分析源码之前需要对python的wsgi、paste、routes和webob这几个模块有所了解才可以继续深入。在此，就我对paste的学习理解首先分享出来，其余模块接下来会娓娓道来。研究对象Devstack 安装的OpenStack Pike版本的C...
2019-06-27 16:23:31
251
转载 OpenStack虚拟机挂载数据卷过程分析
1 关于OpenStackOpenStack是一个IaaS开源项目，实现公有云和私有云的部署及管理，目前已经成为了最流行的一种开源云解决方案。其中提供计算服务组件Nova、网络服务组件Neutron以及块存储服务组件Cinder是OpenStack的最为核心的组件。这里我们重点关注Nova和Cinder组件，Neutron组件将在下一篇文章中详细介绍。1.1 计算服务NovaNova组...
2019-06-27 10:39:49
6731
2
转载 openstack neutron网络模块分析（一）---- neutron-server启动
neutron-server 启动流程环境:ocata版本，centos7预备知识:WSGI：一个可以在python web服务中可以广泛使用的APIPASTE：Paste Deployment用于发现和配置WSGI Application和Server，有了Paste Deployment，WSGI applications只需向其用户提供一个单独的入口loadapp函数，然后用...
2019-06-27 10:34:25
495
转载 python 生成器和迭代器有这篇就够了
本节主要记录一下列表生成式，生成器和迭代器的知识点 列表生成器 首先举个例子现在有个需求，看列表 [0，1，2，3，4，5，6，7，8，9]，要求你把列表里面的每个值加1，你怎么实现呢？方法一（简单）：+ View Code方法二（一般）：+ View Code方法三（高级）：+ View Code 生成器什么是生成器？ 通过列表生成式，我们...
2019-06-26 18:44:16
119
转载 python route 知识总结
route 可以从url提取相应的参数,如controller,action或者其它用户自己定义的变量1.Mapper().connectMapper().matchfrom routes import Mappermap = Mapper()map.connect(None,"error/{action}/{id}",controller="controller_obj") ...
2019-06-26 14:32:49
770
转载 简述 __init__、__new__、__call__ 方法
任何事物都有一个从创建，被使用，再到消亡的过程，在程序语言面向对象编程模型中，对象也有相似的命运：创建、初始化、使用、垃圾回收，不同的阶段由不同的方法（角色）负责执行。定义一个类时，大家用得最多的就是__init__方法，而__new__和__call__使用得比较少，这篇文章试图帮助大家把这3个方法的正确使用方式和应用场景分别解释一下。关于 Python 新式类和老式类在这篇...
2019-06-25 21:45:55
126
转载 python WSGI中loadapp源码分析
WSGI是python网络标准，这篇文章主要将分析WSGI中一个重要的函数——loadapp，此函数用户构建application。直接放一个代码结构图，我用百度脑图画的，由于太大了，直接放图片看不清，所以这里大家可以直接打开对比百度脑图看http://naotu.baidu.com/file/4469a9697fb99850f63784ff56a15bde?token=88752f72859...
2019-06-25 21:43:47
292
转载 python egg学习笔记
原文链接：http://www.worldhello.net/2010/12/08/2178.html经常接触Python的同学可能会注意到，当需要安装第三方python包时，可能会用到easy_install命令。easy_install是由PEAK(Python Enterprise Application Kit)开发的setuptools包里带的一个命令，它用来安装egg包。egg包是...
2019-06-25 21:41:55
545
转载 CentOS7安装配置Zabbix3.4服务以及单独安装zabbix-agent
根据搜集的资料安装测试并在安装测试过程中整理的文档，有些位置可能缺少相应的描述，但流程基本完整，部分参考文档在相应位置有标记。centos6安装时部分位置需要相应修改，请自行搜索。如有不足希望不吝赐教。目录一、下载安装Zabbix1.选择安装版本2.安装和配置Zabbix服务器3.修改配置4.启动5.汉字优化二、单独安装zabbix-agent1.安装配置2...
2019-06-25 21:40:39
394
转载 python raise
当程序出现错误，python会自动引发异常，也可以通过raise显示地引发异常。一旦执行了raise语句，raise后面的语句将不能执行。演示raise用法try: s = None if s is None: print "s 是空对象" raise NameError #如果引发NameError异常，后面的...
2019-06-25 21:39:57
704
转载 Python __call__详解
可以调用的对象关于 __call__ 方法，不得不先提到一个概念，就是可调用对象（callable），我们平时自定义的函数、内置函数和类都属于可调用对象，但凡是可以把一对括号()应用到某个对象身上都可称之为可调用对象，判断对象是否为可调用对象可以用函数 callable如果在类中实现了 __call__ 方法，那么实例对象也将成为一个可调用对象，你也许已经知道，在Python中，方法也...
2019-06-25 21:38:43
762
转载 Python魔法方法详解
据说，Python 的对象天生拥有一些神奇的方法，它们总被双下划线所包围，他们是面向对象的 Python 的一切。他们是可以给你的类增加魔力的特殊方法，如果你的对象实现（重载）了这些方法中的某一个，那么这个方法就会在特殊的情况下被 Python 所调用，你可以定义自己想要的行为，而这一切都是自动发生的。Python 的魔术方法非常强大，然而随之而来的则是责任。了解正确的方法去使用非常重要！...
2019-06-25 16:43:24
198
翻译 Python 中的 classmethod 和 staticmethod 有什么具体用途？
普通方法，静态方法和类方法这个答案的原文是Difference between @staticmethod and @classmethod in Python这里的内容是我通知原作者并得到允许的情况下的翻译稿这个是我的博客文章的地址pyhton静态方法和类方法类中最常用的方法是实例方法, 即通过通过实例作为第一个参数的方法。举个例子，一个基本的实例方法就向下面这个: clas...
2019-06-25 10:49:56
129
转载 python @staticmethod和@classmethod的作用与区别
class test: class_name = "test" def __init__(self, name): self.class_name = name def my_print(self, value): print(value + " " +self.class_name) @staticmethod ...
2019-06-25 10:48:28
516
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人