![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据入门
我会发光biubiubiu
这个作者很懒,什么都没留下…
展开
-
大数据入门第一天2018,01,02
大数据技术入门:hadoop,Spark两大框架,大数据技术大串讲 适用于技术干部 ,cio ,cto,it经理,初学者,大数据入门 内容简介:从2015年开始,国内大数据市场继续保持高速的发展态势,作者在与地方政府,证卷金融公司的项目中发现,他们对大数据技术很感兴趣,并希望从大数据技术等方面得到指导和应用帮助,本书共12章,以hadoop和Spark框架为线索,比较全面地介绍了hadoop技术原创 2018-01-02 23:55:22 · 433 阅读 · 0 评论 -
大数据入门第二天语录2018.01.04
Velocity是指大数据往往以数据流的形式动态,快速的产生,具有很强的时效性。数据自身的状态与价值也往往随时空变化而发生演变(这些数据往往包括了空间维,时间维等多种数据)比n如,环境监测中的水质和空气质量数据,高速路卡口的四品监测数据等。 value是指数据已经成为一类新型资产,隐藏着大价值。大数据的价值密度低,需要通过专业的技术手段进行挖掘。只有对其进行正确,准确地分析,才会带来很高的价值回原创 2018-01-04 18:14:17 · 500 阅读 · 0 评论 -
大数据面试题总结
1.HashTable,HashMap,CurrentHashMap HashTable:哈希表,该哈希表将键映射到相应的值。任何非null对象都可以用作键或值。 HashMap:基于哈希表的Map接口实现。此实现提供所有可选的映射操作,并允许使用null值和null键。 (除了非同步和允许使用null之外,HashMap类与Hashtable大致相同。)此类不保证映射的顺序。 特别是它不原创 2018-01-04 22:34:57 · 390 阅读 · 0 评论 -
大数据面试题总结
1.HashTable,HashMap,CurrentHashMap HashTable:哈希表,该哈希表将键映射到相应的值。任何非null对象都可以用作键或值。 HashMap:基于哈希表的Map接口实现。此实现提供所有可选的映射操作,并允许使用null值和null键。 (除了非同步和允许使用null之外,HashMap类与Hashtable大致相同。)此类不保证映射的顺序。 特别是它不原创 2018-01-05 16:44:34 · 542 阅读 · 0 评论 -
大数据面试题必会2018.01.07
数据分析师常见的10道面试题解答 1.海量日志数据,提取出某日访问百度次数最多的那个IP。 首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中,注意到IP是32位的,最多有个2*32个IP。同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文件中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的原创 2018-01-07 23:31:35 · 1754 阅读 · 0 评论 -
大数据的采集和导入
的大数据平台,一般包括以下几个过程,数据采集,数据存储,数据管理,数据处理,数据展现(可视化,报表和监控)数据是分散在不同的系统中的,在让数据产生价值之前,必须对数据进行采集,清洗,处理,大数据的数量和维度越来越多,我们必须采用大数据技术获得所需信息,计算机网络和信息设备的快速发展,产生的海量数据存在于各类服务器,媒介,机构,需要采取不同办法去寻找,加工数据才可以获得不同的办法去寻找,技工数据才可...原创 2018-03-20 22:06:52 · 11284 阅读 · 0 评论 -
Flume事件
Flume事件由0个或多个头与体组成,也就是说,它包含了采集的数据(“体”)和一些额外信息(“头”)的一个数据单元。Flume事件是Flume传输的基本单元。头是一些键值对(Map...原创 2018-03-25 22:27:08 · 411 阅读 · 0 评论