学习随记6————hadoop集群与spark集群中的文件格式

最新推荐文章于 2024-08-14 11:12:16 发布
最新推荐文章于 2024-08-14 11:12:16 发布
阅读量143 收藏
点赞数
分类专栏： 2019实习随记 文章标签： hadoop spark 文件类型 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39350513/article/details/103297542
版权

文件格式

rcfile               

存储空间最小，查询效率最高，需要通过text文件转化来加载，加载的速度最快，由于列式存储方式，数据加载时性能消耗较大，但是具有较好的压缩比和查询响应

textfile

存储空间消耗比较大，并且压缩的text无法分割，合并查询的效率最低，可以直接存储，加载数据的速度最高

sequencefile

存储空间消耗最大，压缩的文件可以分割，合并查询的效率最高，需要通过text文件转化来加载

parquet

sparksql默认的输出格式，具有较快的处理效率，加快响应速度，用于提供交互式查询

orcfile

存储效率，处理效率兼顾

十二次方
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark入门
fang19970714的博客
06-26 193
spark的特性： 响应速度快、易用性、通用性、兼容性（可以运行在各种模式下: stadnAlone，yarn，mesos和local模式） spark的主要架构模块： sparkCore：核心模块，最底层的支持，支持上层的各种其他的模块稳定运行。可以用于做数据清洗，格式的转换等等，可以替代掉mr sparkSQL：处理结构化的数据的模块，用于结构化的数据分析，可以替代掉hive sparkStreaming：用于实时处理的模块，可以替代掉storm graphx：图计算 ，主要用于分析一些用户
【Spark+NLP】11、免密钥ssh登录 + hadoop分布式环境搭建！
PrincessLin的专栏
09-05 253
一、ubuntu 18.04 vim的安装 VPS从16.04换到18.04，发现vim命令找不到了，只有vi，界面一般，方向键还不对。 重新安装vim就能解决问题： sudo apt-get remove vim-common sudo apt-get install vim 二、ssh免密登录 1、首先确认 openssh-server是否安装成功 确认命令：ps -e|...
spark sql 集群小文件太多解决方式
SDKLHKJAS的博客
05-25 981
hive外部分区表，每个分区下有200个小文件 某张表有三个分区字段（partition_brand, partition_date, partition_rssc） 则生成小文件个数：2 * 26 * 8 * 200 = 83,200 这个表还算一般，如果按照年月日进行分区的话，小文件就太多了 先查看集群动态资源配置： 再查看执行spark程序配置资源： --driver-memory 30g \ --executor-memory 12g \ --num-executors 12 .
spark集群部署错误告警随记
weixin_34121304的博客
09-17 163
1，Error: Could not find or load main class namenode-format 这个是错误的把hadoop namenode -format 命令写成hadoop namenode-format 2, WARN util.NativeCodeLoader: Unable to load native-hadoop library for your pla...
大数据随记 —— Spark 基本安装及相关配置
繁依Fanyi的博客
08-18 2551
输入 http://master:8080/，或者 主节点ip:8080 进入Master 资源监控 Web UI 界面。② 修改 spark-env.sh 文件，添加 JAVA_HOME 环境变量和集群对应的 master 节点。一般选择好 Spark 版本后就会出现配置方法。进入 Spark 的 conf 目录。② 在 workers 中添加以下节点。① 拷贝 spark-env.sh。⑤ 配置 Spark 环境变量。③ 移动相关文件到指定目录。① 拷贝 workers。① 进入安装包所在目录。...
大数据库随记-hadoop简介
billycoder的专栏
04-03 282
hadoop是什么？ Hadoop就是为大数据应运而生、Hadoop 框架是用 Java 编写的、Hadoop是Apache下的子项目、Hadoop是分布式系统基础架构，它主要是用于大数据的处理、Hadoop可以看成是一个平台或者生态系统。 Hadoop生态系统包含哪些组件？ 有分布式存储HDFS，有并行计算 MapReduce，有NoSQL数裾库的HBase,有数据仓库工具 Hive, 有 ...
Hadoop离线 day16 Hive基本操作
KKT
12-29 119
Hadoop离线 day16 Hive基本操作九、调优9.1 Fetch抓取（Hive可以避免进行MapReduce）9.2 本地模式9.2 表的优化9.2.1 Join9.2.2 MapJoin9.2.3 Group By9.2.4 Count(distinct)9.2.5 笛卡尔积9.2.6 使用分区剪裁、列剪裁9.2.7 动态分区调整9.2.8 分桶9.3 数据倾斜9.3.1 Map数9.3.2 小文件进行合并9.3.3 如何适当的增加map数9.3.4 reduce数9.4 使用EXPLAIN（执行
Storm入门学习随记
dkih3093的博客
09-02 154
推荐慕课网视频：http://www.imooc.com/video/10055 另外，关于Storm并发度，已经整理到另一篇博客中，希望对读者有所帮助。 请参考：http://www.cnblogs.com/quchunhui/p/8271349.html ====Storm的起源。 Storm是开源的、分布式、流式计算系统 什么是分布式呢？就是将一...
阿西河前端教程学习心得随记——HTML5 有哪些新特性？_声明方式
01-08
为了享受这个过程，我会首先滑动鼠标中键，大概浏览下Up主博客的篇幅及其一级标题和二级标题（篇幅当然是越短越喜欢啦，嘻嘻~），而Up主提到的“核心”部分便重点记忆。 学习内容：HTML5 有哪些新特性？ html5的新...
python、selenium版本查看 xpath元素抓取随记（csdn）————程序.pdf
12-03
在Python自动化测试领域，Selenium是一个非常强大的工具，它允许我们模拟用户操作，与网页进行交互。这篇笔记主要涵盖了如何查看Python和Selenium的版本，以及XPath元素抓取的高级用法，这对于进行Web自动化测试至关...
vue学习随记.zip_vue_vuex_vue学习知识点笔记_图片上传插件封装
09-23
vue的知识点干货，从路由到vuex的知识点干货
Python 文件操作随记
12-22
Python 文件操作是编程中不可或缺的一部分，它涉及到对文件的读取、写入、追加以及文件对象的各种操作。本文主要探讨了Python中打开文件的不同模式及其应用，以及File对象的一些基本操作。 首先，理解文件打开的...
AJAX 随记
10-29
在本篇随记中，我们将探讨如何结构化地创建和使用一个基础的AJAX实现。 首先，我们需要创建一个AJAX对象。在不同的浏览器环境下，XMLHttpRequest对象的创建方式有所不同。在现代浏览器中，我们可以通过`new ...
【Hadoop】建立圈内组件的宏观认识
KX_52517的博客
08-14 857
建立hadoop生态架构宏观认识,对各组件角色定位进行了解
【Hadoop】建立圈内组件的宏观认识（大纲版）
KX_52517的博客
08-14 961
【Hadoop】建立圈内组件的宏观认识的大纲，属于精炼的概述性科普，后续会进行优化
以 http 方式启动 SparkThriftServer
houzhizhen的专栏
08-14 240
beeline 连接 Spark thriftServer 的参数。
基于工业互联网智能工厂总体建设方案-服装类.pdf
最新发布
08-17
基于工业互联网智能工厂总体建设方案-服装类.pdf
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值