- 博客(30)
- 收藏
- 关注
RSS订阅原创 SecondaryNameNode
思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过...
2019-10-24 10:11:22
142
原创 hbase理论总结
HBaseHBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。HBase简介HBase 是 Apache Hadoop 中的一个子项目，HBase 依托于 Hadoop 的 HDFS 作为最基本存储基础单元，通过使用hadoop的DFS 工具就可以看到这些这些数...
2019-10-23 09:05:27
140
原创 mapreduce
MapReduce计算框架如果将 Hadoop 比做一头大象，那么MapReduce就是那头大象的电脑。MapReduce是Hadoop核心编程模型。在Hadoop 中，数据处理核心就是 MapReduce程序设计模型。Map 和Reduce的概念是从函数式变成语言中借来的，整个MapReduce计算过程分为Map 阶段和Reduce 阶段，也称为映射和缩减阶段，这两个独立的阶段实际上是两个独...
2019-10-22 16:24:39
135
原创 hdfs体系架构及读写流程
HDFS体系架构HDFS是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点NameNode 和DataNode。NameNode（名字节点）：系统中通常只有一个，中心服务器的角色，管理存储和检索多个 DataNode 的实际数据所需的所有元数据。DataNode（数据节点）：系统中通常有多个，是文件系统中真正存储数据的地方，在NameNode 统一...
2019-10-22 16:23:08
230
原创 hdfs特点
HDFS文件系统1.HDFS特点HDFS文件系统可存储超大文件每个磁盘都有默认的数据块大小，这是磁盘在对数据进行读和写时要求的最小单位，文件系统是要构建于磁盘上的，文件系统也有块的逻辑概念，通常使磁盘块的整数倍。HDFS是一种文件系统，自身也有块（block）的概念，其文件块大小要比普通单一磁盘上文件系统大得多，1.x默认为64MB，2.x默认为128MB。HDFS中块（block）...
2019-10-22 16:22:44
449
原创 zookeeper搭建
1.解压缩文件并重命名tar -zxvf zookeeper-3.4.7.tar.gzmv zookeeper-3.4.7.tar.gz zookeeper2.添加环境变量vi /etc/profileexport ZK_HOME=/home/bigdata/zookeeperexport PATH=$PATH:$ZK_HOME/bin:$ZK_HOME/conf:3.将修改后的...
2019-09-26 16:06:06
70
原创 CentOS 6.5网络配置静态IP地址
CentOS 6.5网络配置静态IP地址1.打开VMvare，开启虚拟机2.输入用户名，按回车键，再输入密码，登录系统3.进行网络配置前，需要确认几个事情：网络适配器模式是否为NAT模式右键虚拟机，或者点击VMvare菜单栏中的虚拟机（按ctrl+alt键可切出虚拟机返回到windows，点击虚拟机窗口，可进入虚拟机操作）点击“设置”4.确认网络适配器是否处于NAT模式5....
2019-09-25 11:19:30
294
原创 redis简介
文章目录redis简介redis做缓存redis特点Redis 优势redis安装redis保持后台运行python操作redisredis连接普通连接连接池连接管道字符串相关操作列表相关操作集合相关操作有序集合相关操作其他常用操作redis简介简介： https://www.cnblogs.com/guotianbao/p/8683037.htmlredis是主流的key-value no...
2019-08-27 08:16:47
129
原创 作业8-12
python下划线的作用单下划线 _作为一个临时或者无关紧要的变量a, _, _, b = (1, 2, 3, 4)print(a, b) # 1 4前导单下划线 _test命名约定，告知其他程序员该变量或者方法仅供内部使用不会对python解释器的行为产生影响前导双下划线 __test前导双下划线会让python解释器重写属性名称，可以避免子类中的命名冲突class A:...
2019-08-14 08:26:47
119
原创 python面试题
为什么学习Python爱好通过什么途径学习Python首先看视频自学，然后看书自学，最后报班学。谈谈Python和其他语言的区别Python属于解释型语言，当程序运行时，是一行一行的解释并运行，调试程序简单，开发效率高。特点：语法简洁优美，功能强大，标准库与第三方库都非常强大。具有很强大的可移植性、可扩展性、可嵌入性。缺点：运行速度慢简述解释型和编译型编程语言解...
2019-08-07 19:59:19
421
原创 线程和进程
文章目录线程和进程多任务介绍并发与并行进程线程进程的工作方式进程与线程的区别Python中多线程的实现线程的执行顺序线程和进程多任务介绍1.现实中的多任务看着番剧吃着饭2.计算机中的多任务计算机中的多任务是指，操作系统同时完成多项任务的处理。此处，同时是指同一个时间段内，而非某一个瞬时时间点。多任务处理是指，用户在同一时间段内运行多个应用程序，每个应用程序就可以称之为一个任务。现在...
2019-08-06 18:29:33
94
原创 网络编程
文章目录网络编程引子软件的开发架构C/S架构B/S架构什么是网络目的网络编程的定义地址生活中的地址与标识ip地址的作用IP地址分类3.1 A类IP地址3.2 B类IP地址3.3 C类IP地址3.4 D类地址用于多点广播3.5 E类IP地址3.6 私有ip3.7 回路地址网络通信过程1. 2台电脑的网络说明2. 使用集线器组成一个网络说明3. 使用交换机组成一个网络说明4. 使用路由器连接多个网络5...
2019-08-05 18:30:16
322
原创 面向对象
文章目录面向对象3种常见的编程方式面向过程面向对象面向对象编程面向对象技术简介类的定义和使用数据封装类属性的补充总结：对象之间的交互类命名空间与对象、实例的空间函数的三大特性继承多态封装鸭子类型静态方法和类方法静态方法类方法property概述property类self`__new__`方法instance 和 issubclass反射item系列`__del__``__str__`面向对象3...
2019-08-03 10:50:07
77
原创 闭包与装饰器
文章目录闭包装饰器装饰器的几种形式万能装饰器函数被多个装饰器所装饰类装饰器总结闭包什么是闭包闭是封闭（函数中的函数），包是包含（该内部函数对外部函数作用域而非全局作用域变量的引用。）闭包：内部函数对外部函数作用域里的变量的引用函数内的属性，都是有生命周期，都是在函数执行期间闭包内的闭包函数私有化了变量，完成了数据的封装，类似面向对象demo：def foo(): pr...
2019-08-03 10:48:02
98
原创 迭代器与生成器
文章目录迭代器可迭代对象：如何实现？应用场景生成器创建一个生成器生成器函数迭代器可迭代对象：list，str，tuple，etc. —> for…in… 遍历 —> 遍历（迭代）迭代器协议：对象必须提供一个next方法，执行该方法要么返回迭代中的下一项，要么引起StopIteration 异常，以终止迭代（只能往下走，不可以回退）现在，我们就可以说，实现了迭代器协议的对象就是...
2019-07-30 18:41:13
84
原创 模块
文章目录模块(module)使用模块的优点：Python中导入模块的常用方式：自定义模块包三种安装包的方法：模块(module)开发过程中，程序代码会越来越多，如果直接放在一个文件里，代码会越来越长—>代码不易维护。为了编写方便维护的代码，可以把不同功能的代码分组，保存在不同的文件里。这样每个文件中包含的代码量较少，易于维护。在Python中，一个.py文件就可以称之为一个模块。即...
2019-07-25 17:00:36
125
原创 函数
文章目录函数引子函数的定义函数调用函数文档说明函数参数函数返回值函数参数种类位置参数默认值参数关键字参数不定参数函数引用函数属性内嵌函数变量作用域作用域的产生作用域的类型全局变量和局部变量global递归匿名函数（lambda）高阶函数filter函数map 映射reduce 函数apply 函数zip练习函数引子求1-15的和；求23-36的和；求55-68的和；def sum_of...
2019-07-25 13:25:57
121
原创 错误和异常
文章目录错误和异常错误异常异常处理raise(触发异常)assert(断言)错误和异常错误语法错误（syntax error）逻辑错误（logic error）执行期间错误（runtime error）for i in range()File "D:/python/test1/day06.py", line 3 for i in range() ...
2019-07-23 18:19:50
114
原创 OS模块
文章目录模块(module)使用模块的优点：Python中导入模块的常用方式：自定义模块OS模块1.系统操作2.目录操作---增删改查(direction)3.判断文件4.拓展：模块(module)开发过程中，程序代码会越来越多，如果直接放在一个文件里，代码会越来越长—>代码不易维护。为了编写方便维护的代码，可以把不同功能的代码分组，保存在不同的文件里。这样每个文件中包含的代码量较少，...
2019-07-22 19:05:28
114
原创 文件操作
文章目录文件操作文件的打开与关闭语法格式：解释：文件对象的属性：关闭：文件的读写：读写定位读取with as :文件操作常见的文件类型：txtcsvjsonhtmlmp4文件操作的流程：打开—>open()读写—>read()/write()关闭—>close()序号用途方法功能1打开/关闭文件f=open(file)...
2019-07-22 19:04:54
87
原创 集合
文章目录集合(set())集合的创建空集合多元素的集合创建强转集合的基本操作增删改查遍历集合的基本运算子集交集并集差集集合(set())无序不可重复不可更改内部的元素是可哈希的集合本身是不可哈希的用{}括起来的单元素数据集用途:去重(列表—>集合，自动去重)关系测试集合的创建空集合st = set()print(type(st))# <cla...
2019-07-19 15:46:43
134
原创 字典
文章目录字典(dict())引入和列表的区别字典基本格式特点字典的创建空字典多元素字典强转通过字典的fromkeys方法创建字典字典的常见操作增练习删改练习查练习练习字典(dict())引入为什么要使用字典# 1.加入存在以下列表li = ['pyth', 'java', 'c']li.sort() # 若li发生变化将很难通过索引进行修改# 2.假如统计学生信息,包括学号、姓名、...
2019-07-19 15:45:46
241
原创 格式化字符串及print函数
文章目录print()函数查看帮助文件格式化字符串%号格式化占位符format格式化(1)位置映射(2)关键字映射(3)索引print()函数查看帮助文件>>> help(print)Help on built-in function print in module builtins:print(...) print(value, ..., sep=' ', e...
2019-07-18 17:53:08
305
原创 元组
文章目录元组特点:元组的创建:查增,不能删,del 直接删除元组的常用操作最大最小值遍历元组特点:有序可重复不可更改元组的创建:te = (1,2,3)te = () # 空元组的创建，不能添加元素te = (1,) # 单元素的元组创建需加上一个逗号，否则括号将视为运算符号sr = str() # 通过函数创建字符串tp = tuple() # 通过函数创建元组...
2019-07-18 17:51:44
138
原创 列表
文章目录列表定义:特点:创建:列表常用操作:(1)拼接:(2)重复(3)索引(偏移)[],切片[:],[::](4)列表的常见操作(增删改查)1.增2.删3.改4.查5.其他操作列表取交集用列表堆栈实现赋值与深浅拷贝赋值深浅拷贝列表解析式列表生成式格式:实现原理:三目运算符练习列表定义:列表使用方括号括起来[],每个元素以逗号分割;可以储存不同的数据类型特点:是一个有序的可以重复的...
2019-07-18 17:51:13
191
原创 字符串列表元组比较
文章目录相同点拼接重复索引、切片计数最大最小值遍历删除有序可重复定位(.index())不同点字符串大小写转换删搜索定位字符串条件判断字符串分割变换列表增加列表反转/排序相同点拼接sr = '1'sr2 = '2'li = [1]li2 = [2]tp = (1,)tp2 = (2,)print(sr + sr2)print(li + li2)print(tp + tp2)...
2019-07-18 17:50:08
291
原创 课后作业1
课后作业1设计”过7游戏“的程序，打印出1-100之间除了含7和7的倍数之外的所有数字for i in range(1, 101): if i % 7 == 0 or i % 10 == 7 or i // 10 == 7: continue print(i, end=' ') 1 2 3 4 5 6 8 9 10 11 12 13 15 16 1...
2019-07-17 17:45:11
517
原创 字符串
文章目录字符串1.什么是字符串2.创建字符串3.注意事项4.字符串的运算及常见操作(1)拼接(2)重复(3)索引(4)切片(5)大小写转换(6)字符串的格式输出对齐(7)删除指定字符(8)计数(9)字符串搜索定位和替换(10)字符串条件判断(11)制表符的转化(12)字符串的分割变换(13)ASCII值和字符的转换字符串1.什么是字符串用引号引起来的一串字符用引号来创建字符串。单引号...
2019-07-17 17:44:39
154
原创 Python流程控制
文章目录Python流程控制if条件分支语句while语句for循环break和continuewhile...else...for...else...Python流程控制if条件分支语句Python条件语句就是通过一条或者多条语句执行的结果（True/False）来决定执行的代码块。if单分支语句#if逻辑语句：# 语句（块）print("Hello,Python")if T...
2019-07-17 17:43:49
157
原创 markdown使用及python基本信息
文章目录markdown使用修改字体颜色显示图片代码块高亮列表字体删除线斜体加粗斜体加粗分割线超链接列表数学公式流程图python学习基本信息python创始人python应用领域编程语言分类python之禅单行注释多行注释python程序运行的三种方式Python中常见的数据类型变量常量数字整型（int）浮点型（float）布尔型（bool）复数（complex）表达式与运算符Python算术运...
2019-07-16 17:41:22
396
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人