大数据应用和总结
文章平均质量分 85
大数据应用和总结
数据知道
IT技术博主,博主会持续更新专栏文章,欢迎关注和订阅文章博客,欢迎私信和博主交流技术。如有需要请站内私信或者联系VX名片(ID:data_know)
展开
-
Kafka常用命令大全及kafka-console-consumer.sh及参数说明
1、kafka-acls.sh #配置,查看kafka集群鉴权信息2、kafka-configs.sh #查看,修改kafka配置3、kafka-console-consumer.sh #消费命令4、kafka-console-producer.sh #生产命令5、kafka-consumer-groups.sh #查看消费者组,重置消费位点等6、kafka-consumer-perf-test.sh #kafka自带消费性能测试命令。原创 2024-05-14 10:36:34 · 8358 阅读 · 0 评论 -
大数据概述、前世今生、处理流程、学习路线、开发工具详解
大数据是无法使用传统计算技术处理的大型数据集的集合。它不是单一的技术或工具,而是已成为一个完整的主题,涉及各种工具,技术和框架。全球数据的90%是在最近十年中产生的。原创 2022-08-27 21:50:53 · 27247 阅读 · 2 评论 -
对数据驱动运营的理解
数据驱动运营当我们谈论大数据的时候,我们是谈论Hadoop, Spark这样的大数据技术产品?还是大数据分析,大数据算法与推荐系统这样的大数据应用?其实这些都是大数据的工具和手段,大数据的核心就是数据本身,数据就是一座矿山,大数据技术产品,大数据分析与算法是挖掘机,采矿车。学了大数据,每天开着矿车忙忙碌碌,那你只是一个旷工,可能每天面对一个金山却视而不见。数据的作用是无处不在的,不但能做统计分析,精准营销,智能推荐,还能做量化交易帮你自动赚钱,甚至能驱动公司运营,管理整个公司。中国互联网三巨头BAT的原创 2022-05-14 23:03:20 · 29068 阅读 · 0 评论 -
关于阿里云DataWorks的6个问题记录
阿里文档:大数据开发治理平台 DataWorks文档1. 什么是DataWorksDataWorks(大数据开发治理平台)是阿里云重要的PaaS(Platform-as-a-Service)平台产品,为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务,一站式开发管理的界面,帮助企业专注于数据价值的挖掘和探索。DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与原创 2022-03-23 20:12:38 · 30767 阅读 · 2 评论 -
28个大数据的高级工具汇总
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。大数据的数据仓库技术主要包括:Hive,Hbase,Sqoop,Flume等。原创 2022-02-27 14:10:53 · 30110 阅读 · 0 评论