- 博客(7)
- 收藏
- 关注
转载 开源分布式计算系统框架比较
开源分布式计算系统框架(Storm,Spark,MapReduce) 目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm; 这三个框架各有优势,现在都属于 Apache 基金会下的顶级项目,下文将对三个框架的特点与适用场景进行分析,以便开发者能快速选择适合自己的框架进行开发。 Hadoop Map
2015-10-15 21:42:35 1774
原创 Hadoop图像压缩
Hadoop分割图像 Hadoop云平台可以完成 对海量图像数据的处理,其主要考虑到压缩速度和压缩图像的可分割性。 压缩算法主要从时间和速度上进行权衡,更快的压缩和解压缩速度会占用更多的存储空间。Hadoop实现对文件的压缩主要先考虑到文件的可分割性,其次,利用mapduce并行算法实现对文件并行压缩。 压缩文件的可分割性,例如我们在对HDFS中6
2015-10-11 16:18:25 695
转载 Source Insight基本使用和快捷键
Source Insight基本使用和快捷键 为什么要用Source Insight呢?貌似是因为比完整的IDE要更快一些,比较利于查看大量的代码。 软件的安装很简单,设置好安装目录。 配置好文档路径,当然这个也可以在Options里面改,选Options->Preferences…里面的Folders标签就行。 Project的建立和工作区
2015-10-11 09:47:28 400
原创 Python学习二
Python 不使用set函数,删除list中重复的数据常用方法:1.使用列表综合 代码如下: lista=['a','r','b','f','f','b'] listb=[] [listb.append(i) for i in lista if i not in listb] print(listb)
2015-10-10 21:20:42 263
原创 python中__init__()作用
Python中__init__函数的作用 python中__init__()函数即表示构造函数,通常在Python中创建类中见到。 代码如下: class Student(object): def __init__(self,id,name,email):
2015-10-10 20:35:54 1551
原创 Hadoop之Zookeeper学习(一)
主要介绍Zookeeper的基本理论基础上,用Zookeeper实现了一 个配置管理中心,利用Zookeeper将配置信息分发到各个服务节点上,并保证信息的正确性和一致性。
2015-10-05 14:07:41 517 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人