![](https://img-blog.csdnimg.cn/20201019141229608.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
统计与大数据
统计&大数据&人工智能
jone1024
真正的失败,不是倒下,而是不再站起来了
展开
-
Hadoop的hdfs
1、Hadoop是什么实际应用:(1)Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析1.1、小故事版本的解释小明接到一个任务:计算一个100M的文本文件中的单词的个数,这个文本文件有若干行,每行有若干个单词,每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务,小明感觉很轻松。他首先把这个100M的文件拷贝到自己的电脑上,然后写了个计算程序在他的计算机上执行后顺利输出了结果。后来,小明接到了另外一个任务,计算一个1T(1转载 2020-12-09 15:48:08 · 116 阅读 · 0 评论 -
Elasticsearch的原理简介
简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。同时ES还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。ES就是为高可用和可扩展而生的。一方面可以通过升级硬件来完成系统扩展,称为垂直或向上扩展(Vertical Scale/Scaling Up)。另一方面,增加更多转载 2020-11-10 08:42:27 · 1034 阅读 · 0 评论 -
人工智能&统计&大数据带动数据时代
人工智能与统计与大数据统计学是基础,是理论,大数据技术是工具,人工智能是思想.根据调研发现,目前企业对大数据及人工智能的人才从学历上来讲主要集中在大专,本科,而从人才技能要求上来讲主要集中在一下几个方面:具有数据思维的大数据人工智能人才从事数据挖掘工作,运用算法来解决和分析问题,让数据显露出真相,这就考验了数据工程师具有数据思维,对于数据灵敏的挖掘能力,挖掘出想要的有用的信息进行分析。具有大数据人工智能技术的专业技术型人才负责大数据系统的研发,包括大规模非结构化数据业务模型构建转载 2020-11-08 09:32:54 · 4360 阅读 · 0 评论