是江山啊-CSDN博客

原创 Saltstack

[toc] 一、安装&amp;&amp;配置Saltstack Saltstack的优势：有master端和minion端，执行的信息比较稳定，不容易丢失信息，或者出现失联主机的情况有封装好的http-api，我们可以直接启动salt-api就可以通过http协议进行调用。不需要自己进行第二次的封装。IP 地址作用192.168.161.128 Server192.1...

2018-06-28 09:08:21 329

原创 python爬虫

爬虫介绍爬虫定义爬虫基本流程爬虫介绍爬虫定义爬虫是请求网站并提取自己所需要数据的过程。通过我们的程序，可以代替我们向服务器发送请求，然后进行批量的数据下载。爬虫基本流程发起请求通过url向服务器发送requests请求，请求可以包含额外的header信息。 2.获取响应内容如果服务器正常响应，那么将受到一个response，response...

2018-06-14 09:04:46 749

一、csv 文件格式二、excel数据处理2.1读取单表文件：2.2 读取单表文件复杂例子：2.3、写入excel文件2.5、Python进行修改excel文件：三、Python处理pdf文件3.1、Python读出pdf文件3.2、抓取每个的网页，然后生成pdf文件3.3、Html转pdf文件四、Python处理图片4.1 Image的三个属性：4.2、抠图4.3、图片拼合4.4、缩放：4.5...

2018-06-12 09:36:00 72

原创 Python3 数据处理

一、csv 文件格式二、excel数据处理2.1读取单表文件：2.2 读取单表文件复杂例子：2.3、写入excel文件2.5、Python进行修改excel文件：三、Python处理pdf文件3.1、Python读出pdf文件3.2、抓取每个的网页，然后生成pdf文件3.3、Html转pdf文件四、Python处理图片4.1 Image的三个属性：4.2、抠图...

2018-06-12 09:33:47 1229

原创 python数据处理（一）

csv数据处理ReaderWriterexcel数据处理csv数据处理 csv表示”Comma-Separated Values(逗号分隔的值)”，csv文件时简化的电子表格，保存为纯文本文件。python中解析csv文件可以使用csv模块。注意：csv是文本文件，通过打开文件的操作，将其内容读入一个字符串，然后通过字符串的split()方法处理每行文本取得值。需要注意csv文件中...

2018-06-11 10:41:00 20

原创 python数据处理

csv数据处理ReaderWriterexcel数据处理csv数据处理 csv表示”Comma-Separated Values(逗号分隔的值)”，csv文件时简化的电子表格，保存为纯文本文件。 python中解析csv文件可以使用csv模块。注意：csv是文本文件，通过打开文件的操作，将其内容读入一个字符串，然后通过字符串的split()方法处理每行文本...

2018-06-11 10:40:04 320

原创 python邮件发送

python发送邮件 python中邮件发送可以使用smtplib模块，也可以使用第三方的yagmail模块。邮件收发简介假如从xx@126.com发送一份邮件至xx@sina.com。首先使用Foxmail等软件写好邮件发送，这些软件称为MUA(Mail User Agent，邮件用户代理)。邮件从MUA发出去之后，先发到MTA(Mail Transfer Agent，邮件传输...

2018-06-07 09:00:00 22

原创 python发送邮件

python中邮件发送可以使用smtplib模块，也可以使用第三方的yagmail模块。邮件收发简介假如从xx@126.com发送一份邮件至xx@sina.com。首先使用Foxmail等软件写好邮件发送，这些软件称为MUA(Mail User Agent，邮件用户代理)。邮件从MUA发出去之后，先发到MTA(Mail Transfer Agent，邮件传输代理)，也就是邮件服务提供商...

2018-06-07 08:57:56 737

原创 python网络编程之socket(二)

socketserver简介socketserver简介 socket并不能多并发，只能支持一个用户。socketserver则实现了并发处理。当有多个客户端连接时，socketserver都会在服务器上创建一个线程或进程来处理该客户端的请求，一个客户端对应一个服务端的进程或线程，这样增加系统的利用率。 socketserver是socket的封装，...

2018-06-06 19:18:35 294

原创 python任务调度模块celery

python任务调度模块celerycelery简介Celery特点Celery工作流程图celery安装使用python任务调度模块celerycelery简介 Celery是一个python开发的异步分布式任务调度模块。Celery本身并不提供消息服务，使用第三方服务，也就是borker来传递任务，一般使用rabbitMQ或者Redis。Celery特点简单：一单熟悉了ce...

2018-06-06 17:18:00 33 1

原创 python网络编程之socket

知识点网络中的进程通信首先需要标识一个进程。本地可以通过进程PID来唯一标识一个进程，但在网络中不可行。TCP/IP协议中，在网络层用IP地址唯一标识网络中的主机，传输层中用协议+端口唯一标识主机中的应用程序(进程)，这样利用三元组(IP地址，协议，端口)就可以标识网络的进程，网络中的进程通信就可以利用这个标识与其它进程进行交互。使用TCP/IP协议的应用程序通常采用引用编程接口:UN...

2018-06-02 11:14:34 228

原创 python 操作passwd

python单词查找练习题题目要求题目分析mysql数据库查询数据处理错误提示python单词查找练习题题目要求现有一个文件dictionary.txt，要求对数据进行处理，分别将英文单词和中文解释保存到mysql数据库，并且可通过输入关键字进行模糊匹配查询。 dictionary.txt文件格式abandon v.抛弃，放弃aband...

2018-06-01 18:22:56 1316

原创二十四、python任务调度模块celery

python任务调度模块celerycelery简介Celery特点Celery工作流程图celery安装使用python任务调度模块celerycelery简介 Celery是一个python开发的异步分布式任务调度模块。 Celery本身并不提供消息服务，使用第三方服务，也就是borker来传递任务，一般使用rabbitMQ或者Redis。...

2018-05-27 12:00:12 614

原创二十三、消息队列

python消息队列消息队列简介消息队列在multiprocessing的实现Queue实现Pipe实现queue模块实现消息队列python消息队列消息队列简介消息队列”是在消息的传输过程中保存消息的容器。消息队列最经典的用法就是消费者和生成者之间通过消息管道来传递消息，消费者和生成者是不通的进程。生产者往管道中写消息，消费者从管道中读...

2018-05-27 11:51:34 133

原创二十二、多线程

一什么是线程二线程与进程的区别三多线程应用举例Thread一什么是线程在传统操作系统中，每个进程有一个地址空间，而且默认就有一个控制线程线程顾名思义，就是一条流水线工作的过程（流水线的工作需要电源，电源就相当于cpu），而一条流水线必须属于一个车间，一个车间的工作过程是一个进程，车间负责把资源整合到一起，是一个资源单位，而一个车间内至少有一条流水线。所...

2018-05-23 23:31:21 150

原创二十一、python多进程

进程简介进程和线程multiprocessProcess类创建一个Process对象参数方法进程属性lock组件不加锁加锁共享内存进程简介进程是程序在计算机上的一次执行活动。当你运行一个程序，你就启动了一个进程。显然，程序是死的(静态的)，进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是用于完成操作系统的各种功能的进程就是系统...

2018-05-21 09:23:14 258

原创二十、python访问memcached

memcached介绍memcached安装安装libeventpython访问memcachedmemcached常用操作memcached介绍Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值...

2018-05-21 09:17:09 175

原创十九、python操作redis

python访问redis 无论是电商网站还是支付系统，都离不开数据的存储和增删改查，在这种情况下，每一次登录、访问等都会访问，这样会给数据库造成很大的压力，当数据库无法支撑过高的访问量，轻则影响用户体验，重则导致数据库宕机，网站无法访问。如何解决数据库压力过大的问题呢？优化应用程序，减少数据库的连接数，尽量使用数据库连接池。使用消息队列，常见的有RabbitMQ,Act...

2018-05-17 09:16:01 327

原创十八、python中使用SQLAlchemy（三）

测试更新删除统计排序总结基本步骤常见查询总结限制返回字段查询记录总数查询测试继续以前面建立的student表作为示例进行后面的操作。mysql> desc student;+---------+--------------+------+-----+---------+----------------+| Field | Type...

2018-05-15 11:26:40 244

原创十七、python操作SQLAlchemy（二）

SQLAlchemy使用SQL创建表使用SQLAlchemy安装插入查询filter()和filter_by()filter()和filter_by()区别SQLAlchemy SQLAlchemy本身无法操作数据库，其必须通过pymysql等第三方插件。上图中Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对...

2018-05-15 11:16:04 828

转载十六、python操作SQLAlchemy（一）

SQLAlchemypymysql操作数据库插入数据ORMORM的优点ORM的缺点windows下安装ORM实现一个创建表的功能插入数据查询统计外键关联SQLAlchemy SQLAlchemy是Python编程语言下的一款ORM框架，该框架建立在数据库API智商，使用关系对象映射进行数据库操作，换句话说就是：将对象转换成SQL，然后使用数...

2018-05-15 10:59:30 302

原创十五、mysql（二）

curosr()数据库连接池curosr() cursor游标是处理数据的一种方法，为了查看或者处理结果集中的数据，游标提供了在结果集中一次一行或者多行前进或向后浏览数据的能力。可以将游标当做一个指针，它可以指定结果中的任何位置，然后允许用户对指定位置的数据进行处理。建立数据库连接之后，使用cursor提供的方法执行命令或者返回结果。execute(s...

2018-05-10 09:26:16 135

原创十四、python访问mysql

mysql数据库mysql中的事务python访问mysql查询数据插入数据代码修改数据库PyMySQL PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。 PyMySQL 遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客...

2018-05-07 09:34:09 149

原创十三、正则练习题

正则常用语法单字符匹配边界匹配分组练习题一练习题二正则常用语法单字符匹配. 匹配除换行符之外的任意一个字符。 […] 表示匹配一个字符集集合，如[A-Za-z0-9]表示匹配所有字母和数字。 [^…] 表示匹配除该字符集集合指定字符外的任意字符。如[^0-9]表示匹配除数字之外的所有字符。 \ 转义字符，用来改变特殊字符的原有含义(使其表示本身)。...

2018-05-05 08:23:12 279

原创十二、python内置模块(三)

re正则语法单个字符匹配逻辑与分组re方法表达式对象的方法和属性匹配对象的方法re re模块是python中处理正则表达式的一个模块，通过re模块的方法，把正则表达式编译成正则对象，以便使用正则对象的方法。正则语法首先推荐一个在线的正则表达式验证调试网站regular expressions 101。支持python、java...

2018-05-02 12:51:45 200

原创十一、内置模块（二）

Logging输出os模块commands模块sys模块random模块hashlibMD5MD5算法的特点MD5算法是否可逆？MD5用途防止被篡改：防止直接看到明文：防止抵赖（数字签名）：SHA-1MD5与SHA-1的比较Python的提供的相关模块StringIO模块和BytesIO模块Logging 很多程序都有记录日志...

2018-04-25 23:19:29 130

转载十、异常处理&内置模块(一)

异常处理常见的异常类型异常处理机制异常处理方法异常使用场景模块date模块datetime模块date类time类datetime类tzinfo时区类异常处理 python 用异常对象（exception object）来表示异常情况。异常对象可以被处理、捕获，避免程序终止执行。在编程过程中为了增加友好性，在程序出现Bug时一般不会...

2018-04-23 17:27:00 481

转载九、面向对象

面向过程与面向对象的对比id、type和value的概念类和对象的概念其余概念初始化构造函数__init_的作用self关键字的用法数据封装继承和多态面向过程与面向对象的对比面向过程的程序设计的核心是过程（流水线式思维），过程即解决问题的步骤，面向过程的设计就好比精心设计好一条流水线，考虑周全什么时候处理什么东西。优点是：极大的降低了程序的复杂...

2018-04-20 23:56:09 262

转载八、装饰器

装饰器第一步让代码变得优美一点让代码再优美一点加上参数login函数带参数装饰器本身有参数装饰有返回值的函数应用多个装饰器Reference：装饰器 1）本质：装饰器的本质是函数，其基本语法都是用关键字def去定义的。（2）功能：装饰其他函数，即：为其他函数添加附加功能。（3）原则：不能修改被装饰的函数的源代码，不能修改...

2018-04-18 18:30:22 130

原创七、考试题目

2018.4.16练习题第1题range(m, n, k): 初始值为m，最大值为n-1，步长为k(每次加k)for i in range(1, 100, 3): if i % 5 == 0: print(i, end=' ')print()------------- 10 25 40 55 70 85第2题range(m, n, k)...

2018-04-17 21:19:36 161

原创六、函数

函数定义一个函数函数调用迭代器生成器高阶函数abs()map()reduce()filter()sorted匿名函数函数函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。你已经知道Python提供了许多内建函数，比如print()。但你也可以自己创建函数，这被叫做用户...

2018-04-15 22:11:27 128

原创五、文件操作

读写文件打开文件的模式格式实例文件方法方法描述实例读写文件打开文件的模式r，只读模式（默认）。w，只写模式。【不可读；不存在则创建；存在则删除内容；因为会清空原有文件的内容，一定要慎用】a，追加模式。【可读；不存在则创建；存在则只追加内容；】注意最后要记得关闭文件：f.close()b，二进制文件注意最后要记得关...

2018-04-14 19:31:27 150

原创四、练习题

习题一习题二习题三习题四编码习题一需求判断一个字符串数字有多少个；字母有多少个；空格有多少个；其他字符答案while 1: strings = input("Please inpur a string(quit will be exit):") alpha, dig, space, other = 0, 0, 0, 0 ...

2018-04-11 17:02:59 156

原创三、条件控制

if条件控制循环语句while 循环for 循环range()习题if条件控制Python条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块格式if 判断条件: 执行语句elif 判断条件: 执行语句else: 执行语句1、每个条件后面要使用冒号（:），表示接下来是满足条件后要...

2018-04-09 20:13:42 251

原创二、Python基础语法

一、注释单行注释多行注释二、逻辑运算符数字运算符关系运算符赋值运算符逻辑运算符三、数据类型数字(Number)整型(Int)浮点型(float)布尔（bool）复数( (complex)）数字的类型转换字符串字符串方法列表list[]元组()dict 字典 {}字典方法一、注释单行注释Python中...

2018-03-31 00:22:10 2498 1

原创一、python与pycharm的安装

一、Python简介二、为什么学python三、python安装1、Linux系统下安装Python2、windows系统下安装Python2.1、python2.72.2、python3.6四、pycharm安装1、安装步骤使用技巧一、Python简介Python 是一种解释型语言：这意味着开发过程中没有了编译这个环节。类似于PHP和Perl语...

2018-03-28 19:45:22 1644

江山的博客