u011250186的博客

Hue官方网站：https://gethue.com/HUE官方用户手册：https://docs.gethue.com/官方安装文档：https://docs.gethue.com/administrator/installation/install/HUE下载地址：https://docs.gethue.com/releases/准备及注意事项1.下载 hue包2.安装了maven3.本文环境为centos74.安装Hue的机器最好不要有安装mysql，可能有问题安装...

【环境】组件名称 组件版本 Hadoop Hadoop-2.6.0-cdh5.7.0-src.tar.gz jdk jdk-8u45-linux-x64.gz hive hive-1.1.0-cdh5.7.0.tar.gz hue hue-3.9.0-cdh5.7.0 【下载依赖##root用户下进行】[root@hadoop001 ~]#yum -y install ant asciidoc cyrus-sasl-devel cyrus-sasl-

我们的Cloudera Manager和cdh版本是5.14，现在公司需要升级到cdh6.2需要先升级Cloudera Manager，然后升级cdh。1.Cloudera Manager升级(参考https://www.cloudera.com/documentation/enterprise/upgrade/topics/ug_cm_upgrade.html)升级之前先确定linux的版本已经升级到Cloudera Manager6.2支持的版本1.1备份1.1.1备份Cloude...

升级需求1.为支持spark kerberos安全机制2.为满足impala trunc函数3.为解决impala import时同时query导致impala hang问题升级步骤参考http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/installation_upgrade.html优先升级cloudera manager，再升级cdh1.准备工作：统一集群root密码，需要运维帮...

安装好的CDH如果查看hive的版本呢，1、官网2、管理界面中官网查看一般看到的都是CDH系统默认自带的版本，如果你的CDH在运行的过程中升级过，那再参考官网的版本就会出现错误。参考：http://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_55x.html#concept_xxt_m11_d5下面说说如何在CM界面中查看版本：1、点服务...

文章目录 概述 配置Mysql数据库 为Cloudera Manager配置Mysql数据库 下一部分 概述文章写得很详细，很长所以这里分成了7个部分这里是第六部分,主要讲配置Mysql作为Cloudera Manager及CDH组件的数据库操作的话建议从第一部分开始不知道为什么后面的几个部分的阅读量比前言大得多,强烈建议从第一部分开始操作，文章验证过好多次了，各部分之间都是相互依赖的，只看中间某一篇的话很可能出错第一部分：前言第二部分：环境准备1第三部...

1.利用hbase本身提供的接口执行导出表操作导出操作：./hbase org.apache.hadoop.hbase.mapreduce.Driver export表名"hdfs://192.168.x.x:9000/111" 本地路径或者hdfs的路径导入操作：./hbase org.apache.hadoop.hbase.mapreduce.Driver import表名（已经...

从源hbase集群中复制出HBase数据库表到本地目录hadoop fs -get scp到目的集群 hadoop fs -put 到目的集群HDFS亦可使用distcp将集群复制至目标集群具体办法参考：DistCp修复.META.表和重新分配数据到各RegionServer在.META.表没修复时执行重新分配，会报错#hbase hbck -fixAssignme...

在工作中遇到部门间数据合作，需跨不同版本集群拷贝数据，从hadoop 2.6.0-cdh5.7.0 拷贝数据到hadoop 2.7.1， 记录所碰到的问题及解决方案。distcp基础用法比如拷贝A集群（src集群）的A1目录到B集群（dest集群）的B1目录，1.同版本集群拷贝（hdfs协议）：在dest集群（目标集群）运行命令：hadoop distcp hdfs:...

目录虚拟cpu 虚拟内存正文回到顶部虚拟cpu虚拟的cpu代码并发数，如果一个container拥有2个vcpu，那么该container就可以真正的在同一时间运行两个线程，而不是靠切时间片而达到的逻辑并发。所以一般虚拟的cpu需要和物理cpu的个数保持一致yarn的计算单元称为YCUs，其实就是把1个cpu分为n份，通常情况控制在1:1000左右，也就是说一个一...

参考文章 ：官方文档https://www.cloudera.com/documentation/enterprise/6/6.0/topics/installation.htmlCDH常见问题及解决方法（待续）https://blog.csdn.net/qq_24699959/article/details/80310070CDH 6.0.1 集群搭建 「Pro...

数据计算平台重新搭建成功后，一切顠红，看起来心情就是舒畅，放个截图让心情爽一把：后续当然需要做一些验证性的工作，以确保安装成功后一切都是执行OK的。先放一些测试的JSON文件到HDFS的/tmp/test_json目录下，然后打开HUE界面，进行Hive SQL执行窗口，先创建一个基于JSON文件的外部表：CREATE TABLE ...