- 博客(5)
- 收藏
- 关注
RSS订阅原创 ORC格式与Parquet格式对比
ORC与Parquet对比1，orc不支持嵌套结构，parquet支持嵌套结构2，orc与hive的兼容性强，作为hive的常用存储格式3，orc的压缩率较高4，orc导入数据和数据查询的的速度比parquet快
2020-10-06 16:39:22
1230
原创 大数据面试专题之hbase
1.Hbase调优高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。预分区每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region 维护。那么依照这个原则，我们可以将数据所要
2020-10-05 20:23:55
393
原创 大数据调优系列之hive调优
大数据调优系列之hive调优一、Fetch抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查
2020-10-04 20:57:54
121
原创 大数据初学之安装centos系统
安装centos系统步骤：1，选中创建的虚拟机，点击编辑虚拟机设置2，在弹出的窗口中，选择iso镜像文件3，点击开启虚拟机4，鼠标点击中间区域，直接敲回车键5，鼠标点击中间区域，利用键盘→选择SKIP，敲回车键6，点击Next7，选择中文简体，点击Next8，点击美国英语式，点击下一步9，选择基本存储设备，点击下一步10，选择是，忽略所有数据，点击下一步11，点击下一步12，选择亚洲/上海，点击下一步13，设置密码(上下一致)，点击下一步由于密码设置
2020-09-06 22:03:14
205
原创 大数据初学之创建VMWare虚拟机
虚拟机创建步骤：1，打开VMWare软件，新建虚拟机2，选择自定义(高级)3，点击下一步4，点击下一步，选择稍后安装操作系统5，点击下一步，选择linux，版本选择CentOS 64位6，点击下一步，设置虚拟机名称(最好英文)，选择存储位置(最好全英文路径)7，点击下一步，设置cpu核数查看电脑cpu支持的核数从图中看出有8个线程，可以设置为处理器是4个，每个处理器两个内核。下面设置后的处理器内核总数不能超过总的线程数8，点击下一步，
2020-09-06 21:33:54
346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人