2019年01月_没有刺的仙人掌

09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 hadoop-spark错误集

一、spark错误Failed to initialize compiler: object java.lang.Object in compiler mirror not found.** Note that as of 2.8 scala does not assume use of the java classpath.** For the old behavior pass -u...

2019-01-29 12:57:34 476

原创 Python学习之锁、信号量、线程、队列

一、并发行与同步异步概念 1.并发行概念 ①并发：指系统具有处理多个任务（动作）的能力Concurrency，是并发的意思。并发的实质是一个物理CPU(也可以多个物理CPU) 在若干道程序（或线程）之间多路复用，并发性是对有限物理资源强制行使多用户共享以提高效率。微观角度：所有的并发处理都有排队等候，唤醒，执行等这样的步骤，在微观上他们都是序列被处理的，...

2019-01-20 16:15:59 185

原创 Python常用模块之hashlib

一、md5算法加密数据Python里面的hashlib模块提供了很多加密的算法，这里介绍一下hashlib的简单使用事例，用hashlib的md5算法加密数据import hashlib hash = hashlib.md5()#md5对象，md5不能反解，但是加密是固定的，就是关系是一一对应，所以有缺陷，可以被对撞出来hash.update(bytes('admin',enc...

2019-01-19 13:18:04 214

转载 Python getattr() 函数

Python getattr() 函数 Python 内置函数描述getattr() 函数用于返回一个对象属性值。语法getattr 语法：getattr(object, name[, default])参数object -- 对象。 name -- 字符串，对象属性。 default -- 默认返回值，如果不提供该参数，在没有对应属性时，将触发 Attrib...

2019-01-18 16:47:30 144

转载 optparse 模块—— 命令行选项的解析器

http://www.bubuko.com/infodetail-706714.html15.5 optparse 模块—— 命令行选项的解析器注意：从2.7版本后不再使用：optparse模块不推荐使用，python不再更新该模块，后续的发展将推荐使用argparse模块。支持python2.3及以上版本 optparse模块比旧的getopt模块具有更方便、更...

2019-01-18 16:33:15 359

原创 python 项目目录结构

一、常见的结构关于如何组织一个较好的Python工程目录结构，已经有一些得到了共识的目录结构。在Stackoverflow的这个问题上，能看到大家对Python目录结构的讨论。这里面说的已经很好了，我也不打算重新造轮子列举各种不同的方式，这里面我说一下我的理解和体会。假设你的项目名为foo, 我比较建议的最方便快捷目录结构这样就足够了:Foo/|-- bin/| |-- ...

2019-01-18 15:48:08 14781

转载 socketserver模块使用方法

一、socketserver模块介绍 Python提供了两个基本的socket模块。一个是socket，它提供了标准的BSD Socket API；另一个是socketserver，它提供了服务器中心类，可以简化网络服务器的开发。 Socketserver内部使用IO多路复用以及“多线程”和“多进程”，从而实现并发处理多个客户端请求的socket服务...

2019-01-18 14:58:03 358

原创 Python学习之Socket原理与粘包

一、代码示例服务端#_*_coding:utf-8_*___author__ = 'Linhaifeng'import socketip_port=('127.0.0.1',8081)#电话卡BUFSIZE=1024s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #买手机s.bind(ip_port) #手机...

2019-01-18 14:38:20 175

原创 Python查漏----LastDay

一、异常处理 1.异常：语法错误----不按语言规定写代码逻辑错误----类似1/0与取超出值的列表索引之类的错误 2.常见的错误AttributeError 试图访问一个对象没有的树形，比如foo.x，但是foo没有属性xIOError 输入/输出异常；基本上是无法打开文件ImportError 无法引入...

2019-01-18 12:22:58 188

原创 Python查漏----FourDay

一、装饰器 1.装饰器本质就是函数，功能是为其他函数添加附加功能 2.原则：①不修改被修饰函数的源代码 ②不修改被修饰函数的调用方式 3.装饰器的实现：装饰器=高级函数+函数嵌套+闭包 #装饰器实现下列代码def ...

2019-01-17 19:19:30 158

原创 Python查漏----ThreeDay

一、全局变量与局部变量 1.全局变量特点：没有任何缩进，顶头写的变量；在以后任何位置都能调用 2.局部变量特点：在子程序中创建的变量，只能在该函数里使用 3.在函数中创建全局变量：在变量名前加global 4.若有一个全局变量名和一函数中的局部变量名相...

2019-01-16 18:41:12 119

原创 Hadoop于VMware下配置----Ubuntu18.04（多主机Hadoop集群）

一、环境准备请看上一篇Hadoop于VMware下配置----------Ubuntu18.04（单主机Hadoop环境），该篇将在上一篇的基础上介绍如何安装多台机器的Haddop集群，以及Hadoop资源管理与NameNode HDFS Web界面集群结构规划二、创建data1节点服务器 1.将master服务器完整克隆，并命名为da...

2019-01-16 15:21:09 409

原创 Hadoop于VMware下配置----Ubuntu18.04（单主机Hadoop环境）

一、准备工作 1.虚拟机:vmware10及其注册机 https://pan.baidu.com/s/1B9Rkckcd7GEFv4o-EVdu_Q 2.操作系统：Ubuntu18.04 https://pan.baidu.com/s/1aF04l2NQ41tzmybRxQJXhQ 3.Hadoop2.6.4: ...

2019-01-16 13:57:17 509

原创 Python查漏----TwoDay

一、数据类型和变量 1.变量变量的概念基本上和初中代数的方程变量是一致的，只是在计算机程序中，变量不仅可以是数字，还可以是任意数据类型。变量在程序中就是用一个变量名表示了，变量名必须是大小写英文、数字和_的组合，且不能用数字开头。 2.数据类型字符串，数字，列表，元组，字典二、数据类型的分类 1.按...

2019-01-15 20:02:13 155

原创 Python学习----元组与字典及其应用

Ⅰ、元组一、元组的格式 tuple:元组的类 tu = (111,23,33,44) 注：1.元组的元素不可以被修改，包括增加和删除 2.元组内容可以包含一切可以包含的例：tu = (222,"alex",(11,22),[(33,44)],True,33,44)二、元组的索引与切...

2019-01-15 17:22:20 238

原创 Python学习----列表及其应用

一、列表格式 list:类 li=[0,1,2,3,4,"age"] #通过list类创建了一个对象，对象名为li 1.以中括号括起来； 2.以逗号分隔开； 3.列表元素可以是字符串，数字，列表等，所有能放的都能放注：也可称其为一个集合二、可通过索引和切片取值切片取值后其类型仍为列表 1.可以通过索引的...

2019-01-14 16:57:13 210

原创 Python学习----字符串及其应用

一、字符串的函数 1.string.capitalize():首字母大写 2.string.casefold():将字符按照某种对应关系变小写（例罗马字符大写变小写，默认为英语） 3.string.lower():将大写字母转换成小写字母 4.string.count('*'):计算*在string中出现的次数 5.st...

2019-01-14 15:42:11 134