HNDX2018的博客

原创 Python(廖)之网络编程

一，TCP/IP简介（1）计算机为了联网，就必须规定通信协议。而全球通用的标准称为互联网协议簇（Internet Protocol Suite）（2）互联网协议包含了上百种协议标准，最重要的两个协议是TCP和IP协议，所以互联网协议又简称为TCP/IP协议（3）互联网上每个计算机的唯一标识是IP地址，而IP地址实际上对应的是计算机的网络接口，通常是网卡。（4）IP地址有32位整数形...

原创 Python(廖)之常用第三方库

一 ， Pillow(1) Pillow起源于PIL。PIL：Python Imaging Library，是Python平台事实上的图像处理标准库。但其仅仅支持到Python2.7.后来有一群人在PIL的基础上创建了兼容版本，也就是Pillow，支持最新的Python3.x系列。(2) 安装pip install pillow二，requests(1)requests...

原创 Python(廖)之常用内置模块

一， datetime1. datetime是Python处理日期和时间的标准库2. from datetime import datetime datetime是模块，该模块还包含一个datetime类。3.常用操作： >>> from datetime import datetime>>> #获取当前日期和时间>&gt...

原创 Python(廖)之正则表达式

字符串是编程时涉及到的最多的一种数据结构，对字符串进行操作的需求几乎无处不在。比如判断一个字符串是否是合法的Email地址，虽然可以编程提取@前后的子串，再分别判断是否是单词和域名，但这样做不但麻烦，而且代码难以复用。正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它“匹配”了，否则，该字符串就是不合法的。...

转载 python(廖)之多进程和多线程(分布式进程)

在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个进程中，依靠网络通信。由于managers模块...

原创 Python(廖)之进程和线程（ThreadLocal）

多线环境下，每个线程都会有自己的数据。一个线程使用自己的局部变量比使用全局变量好，因为局部变量只有线程自己能看见，不会影响其他线程，而全局变量的修改必须加锁。ThreadLocal就是负责为每个线程绑定属于自己的同名局部变量。import threading# 创建全局ThreadLocal对象:local_school = threading.local()def pro...

原创 Python(廖)之进程和线程（多线程）

1. 多任务可以由多进程完成，也可以由一个进程内的多线程完成2. 一个进程至少有一个线程3. 线程是操作系统直接支持的执行单元，因此，高级语言通常都内置多线程的支持。4.Python的线程是真正的Posix Thread，而不是模拟出来的线程。5.Python的标准库提供了两个模块：_thread和threading。_thread是低级模块，threading是高级模块，对_th...

原创 Python(廖)之进程与线程

一， 关于 多任务 概念(单核CPU)操作系统轮流让各个任务交替执行(多核CPU)根据CPU数量，各个任务可以做到一对于定程度的并行执行。（1）对于操作系统来说,一个任务就是一个进程。比如打开两个记事本就启动了两个记事本进程。（2）对于一个进程来说，可能会执行多种任务，比如word进程可能同时执行打字，拼写检查，打印等任务。（3）这些属于进程内的任务就是线程。一个进程至少有一个...

原创 Python(廖)之IO编程

一，IO编程简介（1）什么是IO？从磁盘，网络等地方向内存中输入数据是Input从内存向磁盘，网络等地方输出数据是Output（2）IO编程中的“流”概念首先，流类似于一个水管，数据就是水且只能单向流动。数据从外面流进内存是Input Stream数据从内存流进外面是Output Stream（3）IO操作中必然涉及CPU，内存，外设之间的速度不匹配问题。所以有...

原创 python(廖)之错误,调试和测试

一. 编程之无法避免的错误错误的来源可能是程序编写有误，用户输入有误，无法预测类（比如写文件，磁盘满了，写不进去；从网络抓取数据，网络突然断掉）python内置了一套异常处理机制，来帮助我们进行错误处理。Python的pdb可以让我们以单步方式执行代码。（1） 错误处理1） 以前，如果发生了错误，就返回一个事先约定好的错误代码。以便于知道，是否出错和出错的原因。比如：...

原创 Python(廖)之面向对象高级编程

一 .  使用@property(1)  Python内置的@porperty 装饰器就是负责把一个方法变成属性调用。class Student(object):    @property    def score(self):        return self._score    @score.setter    def score(self,value):       ...

原创 Python（廖）之函数式编程

一，高阶函数（1） 高阶函数，英文名：Higher-order function（2）变量可以指向函数本身          体验：           abs(-10)           abs           x=abs(-10)           x=abs          ***************           x=abs   ...

原创 Python的打包库：Pyinstaller

一，安装Pyinstaller1. 安装pywin32    pip install pywin322. 安装Pyinstaller    pip install PyInstaller 二，使用Pyinstaller1. Pyinstaller打包命令：    pyinstaller -F myfile.py2. 输入参数的含义    -F ：表示生成单个...

原创 Python 自动化运维:技术与最佳实践读书笔记002 之第一章 系统基础信息模块详解

系统基础信息采集模块作为监控模块的重要组成部分，帮助运维人员了解当前系统的健康程度以及系统服务的状态。 （1）psutil  是一个跨平台库（http://code.google.com/p/psutil）用于获取系统运行的进程和系统利用率（包括CPU，内存，磁盘，网络等）信息。主要用于分析和限制系统资源及进程的管理。支持绝大多数的操作系统，（注意：第三方库和操作系统，Python版本...

原创 Python 自动化运维:技术与最佳实践读书笔记001

本书分为三大部分：基础篇：介绍Python在运维领域的常用基础模块，包括：      系统基础信息，服务监控，数据报表，系统安全等高级篇：讲解Python在系统运维生命周期中的高级引用功能，包括：       相关自动化操作，系统管理，配置管理，集群管理及大数据应用案例篇：讲解4个不同功能运维平台案例，了解平台的完整架构及开发流程 书中涉及的所有示例及源码的...

原创 Python(廖)之高级特性

一,  切片（Slice）（1）切片就是取一个list或tuple的部分元素的常见操作。这属于Python提供的语法特性（2）实例1：        取前3个元素： L[0:3]        L[0:3] 表示从索引0开始去，直到索引3为止，但不包括索引3。（3） 倒序切片Python支持L[-1] 取倒数第一个元素,也同样支持倒序切片操作。（4）实例2：    ...

原创 Python(廖)之函数20190108(递归函数)

递归函数（1）在函数内部调用自身，这个就是递归函数示例： 计算阶乘 def fact(n):    if n==1 :        return 1    return n*fact(n-1) （2）递归函数的优点是定义简单，逻辑清晰。         理论上，所有的递归函数都可以写成循环的方式，但循环的逻辑不如递归的清晰。（3）注意：使用递归函数需要注意防止栈溢...

转载 Python(廖)之函数20190105

1.  调用函数(1)Python有很多内置的函数，可以直接调用(2)调用一个函数，需要知道函数的名称和参数(3) 查看具体函数信息：查看 绝对值函数：abs()http://docs.python.org/3/library/functions.html或者：help(abs) 可以得到一些相关信息（4） 调用函数时的报错信息a.  TypeError  : ...

原创 Python(廖)之Python基础（使用dict和set）

组合数据类型：1. Python内置的字典类型：dict。（键值对的存储形式：key-value）优势：查找速度极快示例：a. 建立字典d={'Michael':95,'Bob':75,'Tracy':85}b. 取Value：d['Michael']c. 赋值：d['Michael']=76d. 检测Key是否存在(1)‘Tomas’  in d(...

原创 全国计算机等级（二级Python）001 之练习题

#根据用户输入的内容输出相应的结果name=input('请输入对方名字：')s=input('请输入悄悄话内容：')print("{},听我说句悄悄话：{}".format(name,s*3))#九九乘法表输出for i in range(1,10):    for j in range(1,i+1):        print("{}*{}={:2}".format(j,i,i...

原创 全国计算机等级（二级Python）001

第一章 程序设计方法1,. 聊一聊程序设计语言   程序设计语言是计算机能够理解和识别用户操作意图的一种交互体系，区别于自然语言的二义性，具有语法含义的唯一性。2. 脚本语言和静态语言   静态语言采用编译方式执行；脚本语言采用解释方式执行。Python属于脚本语言，解释执行。3. 计算思维   以数学为代表的逻辑思维。   以物理为代表的实证思维。   编程体现的...

转载 Python 3.x的学习笔记 day01-5

循环要计算1+2+3，我们可以直接写表达式：>>> 1 + 2 + 36要计算1+2+3+...+10，勉强也能写出来。但是，要计算1+2+3+...+10000，直接写表达式就不可能了。为了让计算机能计算成千上万次的重复运算，我们就需要循环语句。Python的循环有两种，一种是for...in循环，依次把list或tuple中的每个元素迭代出来，看...

转载 Python 3.x的学习笔记 day01-4

条件判断 计算机之所以能做很多自动化的任务，因为它可以自己做条件判断。比如，输入用户年龄，根据年龄打印不同的内容，在Python程序中，用if语句实现：age = 20if age >= 18: print('your age is', age) print('adult')根据Python的缩进规则，如果if语句判断是True，就把缩进的两行pri...

转载 Python 3.x的学习笔记 day01-3

Python内置的数据类型1. list（1） list是一种有序的集合，允许随时添加和删除其中的元素。Python内置的一种数据类型是列表：list。list是一种有序的集合，可以随时添加和删除其中的元素。比如，列出班里所有同学的名字，就可以用一个list表示：>>> classmates = ['Michael', 'Bob', 'Tracy']&gt...

原创 Python 3.x的学习笔记 day01-2

  第一节 Python的数据类型和变量 各种各样的数据在计算机处理时要对应各种各样的数据类型。而Python能直接处理的数据类型： 1. 整数，浮点数，字符串2. 转义字符 使用 \  ， 使用r'' 表示内部的字符串默认不转义    print(r'\\\t\\\')3. 使用 '''  ...  '''  的格式表示多行内容   print(  '...

原创 Python 3.x的学习笔记 day01

编者按：比划来，比划去，想来还是必须会一门编程语言，所以我选择了Python，因为它易用简单。学习它以使用为主，不在乎是否学习完全部特性，能用就好。 第一节 ： Python简介1. Python的作者：Guido van Rossum 于 1989 年创建。2. Python 的好处是提供非常完善的基础代码库，覆盖了网络，文件，GUI，数据库，文本等等方面，   使得...

原创 《数据科学家修炼之道》阅读笔记day01

内容提要：（Kea Bird）高山鹦鹉1. 什么是数据科学家？   数据科学家是指采用科学方法，运用数据挖掘工具寻找新的数据洞察力的工程师。    一般集技术专家和数据分析师的角色于一身。 2.  这本书讲了什么？     介绍称为数据科学家应当了解的各类知识。 3. 什么是数据科学？    数据科学基于大数据诞生的交叉科学。 4. 大数据一般特征：...

原创 JAVASEday002

1. 引用数据类型的内存分析    一个对象的实例化涉及到两个地方：   堆内存：保存所创建的这个对象的属性和方法。   栈内存：保存指向该对象的堆内存地址。     当一个实例化对象不被引用，也就是在栈内存中没有指向该实例化对象所在的堆内存地址，就变成了垃圾。会被GC定时清理。 2. 总结  (1) 类描述的是公共特征，类必须通过对象才可以使用。（2）声明对象...

原创 JavaSE 学习day01

1. 面向对象简介   （1）面向对象是一种技术的开发模式，而面向过程同样也是一种开发模式。   （2）面向对象是以一种组件化的形式进行代码的设计。   （3）面向对象的三个特征介绍           a. 封装性：保护内部的定义结构安全性。           b. 继承性：在已有的程序结构上继续扩充新的功能           c. 多态性：指的是在某一个概念范围内的...

转载 Java基础与Kettle分析学习笔记003

转载 Java基础与Kettle分析学习笔记002

4. 功能模块Kettle的四大功能模块a. Chef  --  工作（job）设计工具（GUI方式）b. Kitchen -- 工作（job）执行器（命令行方式）c. Spoon --  转换（transform）设计工具（GUI方式）d. Span -- 转换（transform）执行器（命令行方式） （1）Chef  :  工作（Job） 设计器是一个GUI工...

原创 Java基础与Kettle分析学习笔记001

秉承借助分析Kettle的机会，巩固JavaSE基础，学习优秀源代码程序。 1.  Kettle工具 简介     （1）Kettle 是一款国外开源ETL工具，有两种脚本文件： transformation  和 job。     （2）transformation 完成针对数据的基础转换。     （3）job  完成对整个工作流的控制。注释：ETL 是 数据抽取（Ex...

原创 Windows bat脚本学习004

1. 控制结构： for 命令（1）语法格式：FOR  [参数] %%变量名  IN （相关文件或命令） DO 执行命令（2）不带参数FOR %%variable  IN (set) DO  command [command-parameters]a.  %%variable  指定一个单一字母可替换的参数b. (set) 指定一个或一组文件。可以使用通配符。// 不带参数...

原创 Windows bat脚本学习003

1. 控制结构： goto 命令（1） 批处理文件运行到这来将跳到goto所指定的标号处          标号即label，标号用：后跟标准字符串来定义）（2）goto语句一般与if配合使用，根据不同的条件来执行不同的命令组 （3）示例：          goto end          :end          echo this is the end  ...

原创 Windows bat脚本学习002

1. 自定义变量  ：  set 命令@echo offset var=valueecho %var%pause注释：var就是自定义的变量。 2， 控制结构：if 命令（1）命令格式（三种）      1） if   [not]  "参数" == “字符串” 待执行的命令       参数如果等于(not表示不等)指定的字符串，则条件成立，运行命令，否则运...

原创 Windows bat脚本学习001

1. BAT 脚本介绍    BAT脚本是Windows的批处理文件，也就是一个DOS命令组成的文本文件。    BAT脚本类似于编程语言，提供控制结构，用于组织简单的程序逻辑。而程序语句就是DOS命令。2. BAT脚本使用小技巧 01    为你的BAT脚本建立一个专门的文件夹，然后把这个文件夹的路径添加PATH（DOS搜索路径）中。   这样做的好处就是可以任意位置都可以执...

原创 计算机网络技术学习笔记003

 数据捕获与分析工具注释：工具仓库储备。 1. Wireshark 软件简介   Wireshark不是入侵侦测软件。   对于网络上的异常流量行为，Wireshark不会产生警示或是任何提示，同样不会对网络封包产生内容的修改，也不会发送封包到网络上。   Wireshark只会反映出目前流通的封包资讯。2. Wireshark软件功能    可以检测网络问题。...

原创 计算机网络技术学习笔记002

1.  IP协议（1） IP协议是一种不可靠的协议，仅仅提供尽力而为的服务（2）不提供数据校验功能（3）不是面向连接的协议（是为使用数据报的分组交换网而设计的）注释：所以，可靠性要依赖于可靠协议的TCP配合使用（4）IP层的分组称为数据报 2. IP数据报的格式 3. 端口号（1）定义主机中运行的进程的标识符（也是识别应用进程的作用）（2）TCP/I...

原创 计算机网络技术学习笔记001

1.  网络发展阶段     单机阶段（没有数据处理能力，仅仅输入）--->多机阶段（集中数据分发）-->网络阶段--->云计算阶段 2. 网络拓扑结构    （1） 什么是计算机网络？        利用通信线路，将分布在地理位置不同的，功能独立的计算机系统连接起来，以功能完善的网络软件（网络通信协议以及网络操作系统等）实现网络中资源和数据通信的系统。 ...

原创 Spring 实战学习笔记001

第一章  Spring之旅 1. Spring 是什么？做什么？答： Spring 是一个开源框架， 致力于简化Java开发。        简化方式：让简单的JavaBean实现之前的复杂EJB做的事情。 2. Spring采取的4种关键设计策略：答： 1）基于POJO的轻量级和最小侵入性编程。        2）通过依赖注入和面向接口实现松耦合       ...