- 博客(4)
- 收藏
- 关注
RSS订阅原创 spark概述
第二章 spark概述 内容提要 大数据背景 spark介绍 一、大数据行业背景 1、大数据时代背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分析的时代：在大数据的世界竞争》是2016年12月麦肯锡全球研究院（MGI）发表的一份报告。五年前MGI就指出大数据分析在基于定位的服务...
2018-07-31 20:19:35
622
原创 hive基础知识
内容提要 hadoop概述 hive概述 hadoop概述 hadoop体系架构 基于apache基金会下的一个开源项目，致力于开发一个可靠的、大规模的分布式计算框架。 用户可采用简单的计算模型在计算机集群下对大规模的数据进行分布式处理。 设计理念之一是扩展单一的服务器为成千上万机器的集群，且集群中每一个机器同时提供本地计算力和存储力。 hadoop框架是在应用层检测和处理硬...
2018-07-31 20:17:55
449
原创 python入门
1、numpy：提供常用的数组数值、矩阵等函数 2、numpy优点：（1）是基于向量化的运算（2）进行数值运算时，numpy数组比list效率高 3、numpy的一般使用： 4、scipy：是一种使用numpy来做高等数学、信号处理、优化、统计的扩展包 5、det函数是来求矩阵的值，如下图所示： 6、
2018-01-01 19:30:56
206
原创 机器学习之python基础（python3.7）
代码： #!/usr/bin/env python #-*-coding:utf-8-*- import numpy as np; from array import array L=[1,2,3,4,5,6] print (L) a=np.array(L) print (a) print (type(L),type(a)) b=np.array([[1,2,3,4],[5
2017-12-19 22:40:53
5056
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人