![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 52
薛定谔的猫1992
一个正在学习AI的菜鸟程序员
展开
-
量化数据开发
数据分析和建模技术:包括数据分析、统计分析、机器学习、深度学习等技术,如Python、R、MATLAB、Spark MLlib等。数据安全和隐私保护技术:包括数据加密、身份认证、访问控制、隐私保护等技术,如Kerberos、OAuth、SSL/TLS等。大数据技术和云计算技术:包括分布式计算、云计算、大数据存储和处理技术等,如Hadoop、Spark、AWS、Azure等。数据可视化和报告技术:包括数据可视化、交互式报表、数据仪表盘等,如Tableau、Power BI、D3.js等。原创 2023-03-08 00:03:00 · 543 阅读 · 0 评论 -
flink整合kfaka
在Flink应用程序中使用Kafka数据源和输出:将Kafka数据源和输出对象传递给Flink的DataStream API,使用Flink提供的转换操作和算子,进行数据处理和流处理操作。在这里,我们使用Flink的DataStream API从Kafka主题中读取数据,然后进行简单的过滤和转换操作,最后将数据发送回另一个Kafka主题。创建Kafka数据输出:使用Flink Kafka连接器提供的KafkaProducer类,创建一个数据输出,将数据发送到Kafka主题中。原创 2023-03-02 22:57:12 · 331 阅读 · 0 评论 -
hadoop技术栈
在整个过程中,HDFS扮演着数据的存储和管理者的角色,MapReduce利用HDFS的分布式特性,实现对海量数据的高效处理和分析。Hive和Hadoop生态系统中的其他组件有很强的关联。总之,Hadoop Common是Hadoop生态系统中的一个核心组件,为Hadoop框架中的其他组件提供了基础设施和公共库,使它们能够在分布式环境中高效地运行。它将计算资源从底层节点上解耦出来,形成一个独立的资源管理器,并提供了一个灵活的、可扩展的资源分配和作业调度机制,使得多个计算框架可以在同一个集群上共享资源。原创 2023-02-23 20:47:01 · 543 阅读 · 0 评论