- 博客(11)
- 收藏
- 关注
原创 HDFS
HDFS前言 设计思想 分而治之:将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析; 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 重点概念:文件切块,副本存放,元数据 HDFS的概念和特性 首先,它是一个文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件 其次,它是分布...
2019-09-02 10:43:34 107
原创 shell 编程
Shell是用户与内核进行交互操作的一种接口,目前最流行的Shell称为bash Shell Shell也是一门编程语言<解释型的编程语言>,即shell脚本<就是在用linux的shell命令编程> 一个系统可以存在多个shell,可以通过cat /etc/shells命令查看系统中安装的shell,不同的shell可能支持的命令语法是不相同的 基本格式 代码写在普通文本...
2019-08-30 17:55:57 109
原创 Linux基础
Linux简介 Linux是一套免费使用和自由传播的类Unix操作系统(主要用在服务器上),是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。 Linux操作系统诞生于1991 年10 月5 日(这是第一次...
2019-08-29 19:12:29 292
原创 Python 第八天(多线程和正则表达式)
线程通信 Python提供了非常简单的通信机制 Threading.Event,通用的条件变量。多个线程可以等待某个事件的发生,在事件发生后,所有的线程都会被激活。 import threading import time def goevent(): e = threading.Event() # 事件 def go(): e.wait() # 等待事件,...
2019-08-26 19:00:09 195
原创 Python 第七天(多线程)
基于函数实现多线程 import _thread # 多线程 import time def go(): for i in range(5): print(i,"-------") time.sleep(1) for i in range(5): # 同时执行5次 _thread.start_new_thread(go,()) # 前面是执行...
2019-08-22 17:25:57 109
原创 Python 第六天(进程之间的通信通道:队列和管道、进程之间的共享)
管道 Pipe() 函数返回一个由管道连接的连接对象,默认情况下是双工(双向)。 multiprocessing.Pipe([duplex]),返回一对Connection对象:(conn1, conn2),分别表示管道的两端。 如果 duplex 被置为 True (默认值),那么该管道是双向的。如果 duplex 被置为 False ,那么该管道是单向的,即 conn1 只能用于接收消息,而 ...
2019-08-21 19:45:15 217
原创 Python 第五天(装饰器,函数闭包和进程)
装饰器 最简装饰器 def deco(func): def wrap(*args, **kwargs): return func(*args, **kwargs) return wrap @deco def foo(a, b): return a ** b 例子 def deco(func): def warp(n1,n2): n = n1 + n2 ...
2019-08-20 17:55:26 94
原创 Python 第四天(面向对象)
类和对象 类是对象的蓝图和模板,而对象是类的实例 定义类:格式 # __init__是一个特殊方法用于在创建对象时进行初始化操作 class class_name(object): def __init__(self): pass def A(self): # 在类中,一切的变量和函数都要印记(self) pass if __name__ =="__main__": a = cla...
2019-08-19 17:20:31 88
原创 Python 第三天(模块,字符串和常用数据结构)
不定长参数: *args **kwargs 匿名函数 lambda表达式 格式: lambda 参数1, 参数2: 结果表达式 全局变量:global 变量 模块 __main__是程序的入口, 当__name__ == __main__的时候, 表示自身调用函数, 不会被其他模块引入 字符串 字符串拼接: s = ‘good’ + ‘man’ print(s) 字符串重复: s = ‘goo...
2019-08-18 16:26:01 96
原创 Python 第二天(循环结构和函数)
for-in 循环 明确的知道循环的次数或者是要对一个容器进行迭代,推荐使用for-in循环 for i in range(): #range 前闭后开 语句 print() """ 输出乘法口诀表(九九表) """ for i in range(1,10): for j in range(1,i+1): print('%d * %d = %d' % (i,j,i*j...
2019-08-15 17:01:56 95
原创 Python 第一天(Python基础)
Python的第一个程序 print(“Hello World”) 常用的数据类型 整型 浮点型 字符串型 布尔型:布尔值只有True、False俩种 复数型 变量的命名 由字母、数字和下划线构成,数字不能开头 大小写敏感 不能用关键字和系统保留字 变量类型的转换 int():将一个数值或字符串转成整数,可以指定进制 float():将一个字符串转换成浮点数 str():将指定的对象转换成字...
2019-08-14 16:56:45 91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人