大数据
文章平均质量分 75
西海幼鸟
健身菜鸟 新手码农
展开
-
Spark入门
spark历史:伯克利实验室研究项目,基于Hadoop的Mapreduce机制,引入内存管理机制,提高了迭代式计算和交互式中的效率。spark组件:spark core:spark基本功能,包括任务调度,内存管理,容错机制内部定义了RDDs(弹性分布式数据集),提供多个APIs调用,为其他组件提供底层服务spark sql:spark处理结构化数据的库,类似Hive SQL,MySql,原创 2017-12-02 17:18:33 · 529 阅读 · 0 评论 -
Windows安装pip方法
pip是一款非常方便的python包管理工具,本文主要介绍在windows10下安装pip方法。1. 下载pip地址:https://pypi.python.org/pypi/pip#downloads注意选择tar.gz压缩包,目前最新版本为9.0.1,这里选择的版本是:pip-9.0.1.tar.gz (md5, pgp)点击:下载2. 解压安装解压下载的压缩包至...原创 2017-12-07 12:57:42 · 99724 阅读 · 1 评论