![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
果丶果
没有人能预测未来,所以总有人后悔当初!!!
展开
-
Impala学习记录
Impala 交互式查询工具 1. 概述 1. 是什么 Impala是Cloudera提供的⼀一款开源的针对HDFS和HBASE中的PB级别数据进⾏行行交互式实时查询(Impala 速度快),Impala是参照⾕谷歌的新三篇论⽂文当中的Dremel实现⽽而来,其中旧三篇论⽂文分别是 (BigTable,GFS,MapReduce)分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce。 Impala最⼤大卖点和最⼤大特点就是快速 官网:https://impala.apache.org原创 2021-03-29 21:31:33 · 662 阅读 · 0 评论 -
Sqoop学习记录
Sqoop数据迁移工具 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、 postgresql等)间进行数据的传递。可以将关系型数据库(MySQL ,Oracle ,Postgres 等)中的数据导入到HDFS中,也可以将HDFS的数据导进到关系型数据库中。 安装配置 Sqoop 官网:http://sqoop.apache.org/ Sqoop 下载地址:http://www.apache.org/dyn/closer.lua/sqoop/ 1. 下载、上传并解原创 2021-03-28 16:49:53 · 149 阅读 · 0 评论 -
CDH6.3.1-安装步骤
CDH6.3.1-安装步骤 注意-所有主机密码要一致 准备安装包 MySQL5.7 mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar MySQL驱动包 mysql-connector-java.jar cloudera-manager包 cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm clouder原创 2020-08-16 12:32:24 · 2586 阅读 · 9 评论 -
python脚本自动生成hadoop集群设置中的内存相关系数(Hadoop调优)
python脚本自动生成hadoop集群设置中的内存相关系数(Hadoop调优)小编在搭建hadoop集群的过程中,发现集群进程总是莫名其妙的被杀死,通过研究发现是hadoop默认的每台节点分配的内存大小为8G,在学习过程中一般都使用虚拟机进行搭建,这样虚拟机分配的内存如果达不到要求就会被杀死,所以如何合理的配置节点参数就非常重要。使用方式: 1、安装python运行相关环境 2、将代码复制到.py原创 2017-08-23 12:38:07 · 5422 阅读 · 0 评论