数据分析
奔腾的小野马~~
代码是敲不完的,BUG是解不完的,加油吧,骚年们
展开
-
数据分析---数据可视化Seaborn的使用
Seaborn的使用简介Seaborn 是以 matplotlib为底层,更容易定制化作图的Python库。Seaborn 其实是在matplotlib的基础上进行了更高级的API封装,从而使得作图更加容易。在大多数情况下使用Seaborn就能做出很具有吸引力的图,而使用matplotlib就能制作具有更多特色的图,换句话说,matplotlib更加灵活,可定制化,而seaborn像是更高...原创 2019-09-05 17:21:58 · 717 阅读 · 0 评论 -
Matplotlib的使用
文章目录Matplotlib的使用为什么学习MatplotlibMatplotlib的安装Matplotlib的基本使用图表中文显示方法1:引入字体文件方法2:使用系统文字线性图表绘画条状图绘画直方图绘画散点图绘画子图Matplotlib的使用Matplotlib 是一个 Python 的 2D绘图库。通过 Matplotlib,开发者可以仅需要几行代码,便可以生成绘图,直方图,功率谱,条形...原创 2019-09-16 19:11:08 · 139 阅读 · 0 评论 -
数据分析---- Numpy
Numpy Numpy是科学计算基础库,提供大量科学计算相关功能,比如数据统计,随机数生成等。其提供最核心类型为多维数组类型(ndarray)。numpy支持向量处理ndarray对象,提高程序运算速度。ndarray:n-dimensional array object,任意维数的数组对象Numpy的官方文档: http://www.numpy.org/使用方式安装numpy库pi...原创 2019-09-16 21:23:34 · 219 阅读 · 0 评论 -
Hadoop----HDFS(分布式文件系统)
文章目录HDFS--分布式文件管理系统存储模型:字节架构模型:NameNode(NN)DataNode(DN)SecondaryNameNode(SNN)HDFS优点:HDFS缺点:Block的副本放置策略跳机制HDFS写过程HDFS读流程安全模式HDFS–分布式文件管理系统存储模型:字节文件线性切割成块(Block):偏移量 offset (byte)Block分散存储在集群节点...原创 2019-09-17 20:34:47 · 223 阅读 · 0 评论 -
Hadoop--HDFS集群的搭建
1 HADOOP介绍1.1 介绍大数据处理的技术栈1、 HADOOP是apache旗下的一套开源软件平台2、 HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3、 HADOOP的核心组件有a) HDFS(分布式文件系统)—存储数据b) YARN(运算资源调度系统)—分配和调度硬件资源(cpu、内存)给mapreducec) MAPREDUC...原创 2019-09-17 20:57:28 · 869 阅读 · 0 评论 -
Hadoop----MapReduce架构
MapReduceMR原语:输入(格式化k,v)数据集—>map映射成一个中间数据集(k,v)----> reduce----->输出一个(k,v)值输出“相同”的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算。MapReduce 内部处理流程大致为:由HDFS 文件存储系统输出数据(block)经过(split)切片后形成以个(k,v)的数据格...原创 2019-09-18 22:14:37 · 143 阅读 · 0 评论 -
时间序列----ADF检验
ADF 检验在ARMA/ARIMA这样的自回归模型中,模型对时间序列数据的平稳是有要求的,因此,需要对数据或者数据的n阶差分进行平稳检验,而一种常见的方法就是ADF检验,即单位根检验实例说明:x=np.arange(10)result=sts.adfuller(x,1)result输出结果:(0.9921567416492214, 0.9941824998493046, 1, 8, ...原创 2019-10-07 16:19:20 · 7710 阅读 · 0 评论 -
数据分析的三种思维和七种常用的技巧
为什么数据分析思维重要如果我们在分析一个问题前,思维缺失就像下面图中所表达的一样,往往不知道问题从哪里下手,在这个时候就轮到平时锻炼的数据分析思维了。核心数据分析思维结构化可以看作金字塔思维,把待分析问题按不同方向去分类,然后不断拆分细化,能全方位的思考问题,一般是先把所有能想到的一些论点先写出来,然后在进行整理归纳成金字塔模型。主要通过前面介绍的思维导图来写我们的分析思维。案例现在有一...原创 2019-10-08 11:13:27 · 1115 阅读 · 0 评论