- 博客(19)
- 收藏
- 关注
RSS订阅原创 spark streaming学习总结
目录标题简介及原理简介及原理SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的，具备容错机制的实时流数据处理。Spark Streaming接收Kafka、Flume、HDFS等各种来源的实时输入数据：进行处理后，处理结构保存在HDFS、DataBase等各种地方。使用的最多的是kafka+Spark StreamingSpark处理的是批量的数据（离线数据），Spark Streaming实际上处理并不是像Strom一样来一条处理一条数据，而是对接的外部数据流之后按照
2022-04-20 11:01:48
395
原创 spark streaming总结
目录标题简介及原理简介及原理SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的，具备容错机制的实时流数据处理。Spark Streaming接收Kafka、Flume、HDFS等各种来源的实时输入数据：进行处理后，处理结构保存在HDFS、DataBase等各种地方。使用的最多的是kafka+Spark StreamingSpark处理的是批量的数据（离线数据），Spark Streaming实际上处理并不是像Strom一样来一条处理一条数据，而是对接的外部数据流之后按照
2022-04-01 11:04:45
2024
原创 hive表导出数据为txt或者xml文件
文章目录导出数据到本地一、导出为txt二、导出为xml保存结果到HDFS中导出数据到本地一、导出为txt通过重定向方式,将查询结果写到指定的文件中hive -e "SELECT * from 表 where dt='';" > cust.txt使用INSERT OVERWRITE LOCAL DIRECTORY保存结果到本地hive -e "INSERT OVERWRITE LOCAL DIRECTORY '/home/data/cust.txt' ROW format de
2022-03-31 18:21:33
4539
原创 学习计划模板
系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结项目场景：问题描述原因分析：解决方案：学习目标：学习内容：学习时间：学习产出：前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习
2022-03-18 18:20:35
239
原创 图数据库（neo4j）学习心得
图数据库（neo4j）学习心得什么是图？ 图由两个元素组成：节点、关系 每一个节点代表一个实体，每一个关系代表两个节点的关联方式图形数据库是NoSQL数据库的一种类型，它应用图形理论存储实体之间的关系信息。关系型数据库用于存储“关系型”数据的效果并不好，其查询复杂、缓慢、超出预期，而图形数据库的独特设计恰恰弥补了这个缺陷。图数据库常用领域社交网络Facebook, Twitter，Linkedin用它来管理社交关系，实现好友推荐推荐和个性化eBay，沃尔玛使用它实现商品实时推荐，给买家
2022-03-10 11:12:48
4239
1
原创 Elasticsearch面试题（大数据面试）
概述Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。Luncene是单节点的API，ElasticSearch是分布式的。当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包
2021-08-12 22:06:49
248
原创 kafka面试题总结（大数据面试）
kafka概述Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。1、为什么要使用 kafka，为什么要使用消息队列？缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。解耦和扩展性：项目开始的时候，并不能确定具体需求
2021-08-10 20:16:27
305
原创 flume面试题总结（大数据面试）
flume概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。使用Taildir Source采集文件夹数据到hdfsTaildir Source 是Apache flume1.7新推出的，但是CDH Flume1.6做了集成Taildir Source是高可靠（reliable）的source，他会实时的将文件
2021-08-10 19:32:15
442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人