大数据零基础怎么入门

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/arry001/article/details/89401944

大数据日志分析主要是对开源大数据组件进行整合开发而成,分为:数据采集层、数据预处理层、数据存储层、数据处理层和数据分析层等5个层次。

01数据采集层
 

数据采集层主要利用开源组件Flume对日志文件进行采集。Flume是一个分布式、高可靠、高可用的海量日志采集软件,支持定制各类的数据发送方,在收集数据的同时能够对数据进行简单的处理,然后写到各种数据接收方。
 

目前我们是对Flume采集的日志文件做两个操作,一是直接发送给kafka进行缓存,二是将数据进行压缩后写入HDFS供之后的分析用。

在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189307 , 裙 里都是学大数据开发的,如果你正在学习大数据 ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有大数据开发相关的),包括我自己整理的一份最新的大数据进阶资料和高级开发教程,欢迎进阶中和进想深入大数据的小伙伴。
 

02数据预处理
数据预处理主要对日志文件进行初步的简单处理。目前采用Storm从Kafka接收数据,然后对数据进行实时统计。
Storm是一个分布式、容错的实时计算系统。它的编程模型非常简洁,主要包括三个组件:Topology、Spout和Bolt。Topology是一个由多个计算节点构成的拓扑图,Spout和Bolt是两种结算节点,它们一起构成了一个完整的数据流向图。
目前常用的大数据解决方案包括以下几类
一、Hadoop。Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
二、HPCC。HPCC,High Performance Computing and Communications(高性能计算与通信)的缩写。HPCC主要目标要达到:开发可扩展的计算系统及相关软件,以支持太位级网络传输性能,开发千兆 比特网络技术,扩展研究和教育机构及网络连接能力。
三、Storm。Storm是自由的开源软件,一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流,用于处理Hadoop的批量数据。 Storm支持许多种编程语言,使用起来非常有趣。Storm由Twitter开源而来,其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。
四、Apache Drill。为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法,Apache软件基金会近日发起了一项名为“Drill”的开源项目。该项目帮助谷歌实现海量数据集的分析处理,包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

大数据时代下,政府、企业、个人应该如何保护隐私
 

隐私安全的保护,不仅需要先进的技术来保护,也需要国家政府不断完善规章制度,企业也要遵守行业规范,个人也要提高对隐私保护的意识。
 

1、国家政府应该完善相关的规章制度。6月1日,《网络安全法》正式实施,保障网络安全,维护网络空间主权和国家安全、社会公共利益,保护公民、法人和其他组织的合法权益,促进经济社会信息化健康发展。同时,政府也要加强监管力度,加强政策法规的落实,不断完善《网络安全法》。


2、企业应当遵守行业规法。企业应该加强数据使用的监管,保证数据安全不泄露,防止不法分子获取数据,减少用户对数据安全的担忧,建立强而有效的数据隐私保护机制。
 

3、个人应该提高自身隐私安全保护意识。除了国家、企业应当保护隐私以外,个人也应该提高自身的隐私安全保护意识,切勿轻易把个人隐私信息交给他人,从源头上防止个人隐私泄露。
 

大数据近年来确实在许多方面改进了商业模式,促进了经济的发展。但是,发展是好,我们也要不能忽略掉大数据带来的隐私问题,隐私保护才是重中之重。

 

大数据处理需要用上的语言
 

R语言:它的有点在于简单易上手,通过R语言,你可以从复杂的数据集中筛选你想要的数据,从负责的模型函数中操作数据,建立有序的图表呈现数字,只需要几行代码就可以了,比如说,像是好动版本的Excel表格。
 

Pythom语言:Python结合了R语言的快速,处理复杂数据的能力以及更务实的语言特质,迅速地成为主流,也更简单和直观了,尤其是近几年的成长很快。在数据处理范畴内,通常在规模与复杂之间要有个取舍,Python以折中的姿态出现,是相当好的数据处理工具。
 

java语言:java没有和Python和R语言一样好的可视化功能,也不是统计建模的最佳工具,但是如果你需要建立一个庞大的系统,使用过去的原型,java是最基本的选择了。
 

Hadoop pand Hive:为了迎合大量数据处理的需求,以java为基础的大数据开始了。Hadoop为一批数据处理,发展以java为基础的架构关键,相对于其他处理工具,Hadoop慢许多,但是无比的准确可被后端数据库分析广泛使用,和Hive搭配的很好。

展开阅读全文

没有更多推荐了,返回首页