【大数据初识】

采集(sqoop/datax/flume)、清洗建模(hivesql),流转(hbase/elasticsearch)、展现(grafana)。

采集

采集:sqoop/datax/flume

清洗建模

清洗建模:hivesql

流转

流转:hbase/elasticsearch

展现

展现:grafana

学习顺序

这些工具的学习顺序可以按照以下方式由浅入深地进行:

采集工具:sqoop、datax、flume 等。这些工具主要用于将数据从各种数据源中采集到数据库或存储容器中。对于初学者来说,可以从 Flume 开始学习,因为它是分布式的,更容易理解和掌握。

清洗建模工具:Hive SQL、Spark SQL、Flink SQL 等。这些工具用于对采集到的数据进行清洗和转换,以便在后续处理过程中更好地进行处理。初学者可以从 Hive SQL 开始学习,因为它是 SQL 语言的一种实现,更容易理解和掌握。

流转工具:HBase、Elasticsearch、Grafana 等。这些工具用于将数据在不同数据存储容器中进行流转和处理。初学者可以从 HBase 开始学习,因为它是分布式的,更容易理解和掌握。

展现工具:Grafana、Zabbix、Prometheus 等。这些工具用于对数据进行可视化和展示,以便更好地理解和分析数据。初学者可以从 Grafana 开始学习,因为它是最流行的数据可视化工具之一。

Hadoop、Spark、Flink 等大数据处理框架。这些工具用于对大数据进行分布式处理和计算。初学者可以从 Hadoop 开始学习,因为它是最早的大数据处理框架之一,更容易理解和掌握。

总之,学习大数据工具需要灵活运用,可以根据自己的需求和兴趣来选择合适的工具进行学习。同时,建议初学者从简单的工具开始学习,逐渐深入,以便更好地理解和掌握大数据处理技术。

如果你没有经验,建议从以下方面入手:

基础知识和技能:学习大数据处理的基础知识,如数据结构、算法、编程语言、计算机网络等,这些都是处理大数据的基础。

数据采集和清洗:学习如何使用采集工具,如 Flume,将数据从各种数据源中采集到数据库或存储容器中,并进行清洗和转换,以便后续处理。

数据存储和管理:学习如何使用数据库和存储容器,如 HDFS、HBase、Elasticsearch,来存储和管理数据。

数据分析和挖掘:学习如何使用数据分析和挖掘工具,如 Spark、Hadoop、Hive SQL、Spark SQL、Flink,来进行数据分析和挖掘。

数据可视化和展示:学习如何使用数据可视化工具,如 Grafana、Zabbix、Prometheus,来对数据进行可视化和展示。

先学什么
== Hive SQL---->HBase—>Flume—>Grafana ==
Flume
HBase
Grafana
Hadoop

目前现写这些

路漫漫其修远兮,吾将上下而求索

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值