![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CDH-hadoop
要树立远大的理想
生命只有一次,不因碌碌无为而羞耻,不因虚度年华而悔恨。
展开
-
HDFS的BLOCK损坏或丢失问题检查与处理
1. fsck命令介绍fsck是file system check的简写,中文名其实就是文件系统检查,通过hdfs fsck命令可以看出具体的参数。[hdfs@rtn01 ~]$ hdfs fsckUsage: DFSck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-b...原创 2019-11-25 15:44:29 · 5675 阅读 · 2 评论 -
CentOS7安装CDH5.11.0遇到的too many values to unpack问题解决
1. 报错内容[29/Jul/2019 15:14:20 +0000] 11107 MainThread agent INFO Using parcels directory from server provided value: /opt/cloudera/parcels[29/Jul/2019 15:14:20 +0000] 11107 MainThread parc...原创 2019-07-29 15:33:16 · 480 阅读 · 1 评论 -
CDH集群修改nameservice名称
前言 : CDH集群如何改变默认的nameservice名称呢?,本文中的示例集群已经做了HA,且集群版本为CDH6.1.1。1 停止集群所有组件服务没啥可说的,直接关闭所有服务,如下图所示。2 单独启动ZK组件服务没啥可说的,启动ZK,如下图所示已经启动好的zk。3 删除存储于zookeeper中的hdfs组件信息首先查找集群的ZK部署于那些节点,如下图所示...原创 2019-04-16 15:23:36 · 5542 阅读 · 3 评论 -
CM中依据IMPALA-SQL语句查询消耗的资源
首先给出测试的SQL语句select * from EDM.CREDIT_HT007 where stat_dt = '2020-06-23'如何在cm的impala-queue界面进行查询呢?statement RLIKE ".*EDM.CREDIT_HT007.*"双引号中的 .* 代表了模糊匹配所有字符,例如下面的写法也可以的statement RLIKE ".*...原创 2019-04-11 17:29:40 · 1538 阅读 · 0 评论 -
cdh5.11.0的hadoop配置在哪儿放着呢?
随手记录通过rpm包安装的cloudera-manager-server与cloudera-manager-agent,那么比较重要的几个目录位置在哪儿呢?export HADOOP_CONF_DIR=/etc/hadoop/confexport HADOOP_PREFIX=/opt/cloudera/parcels/CDH/lib/hadoopexport HADOOP_HOME=$...原创 2019-03-12 14:18:39 · 2105 阅读 · 0 评论 -
HDFS删除并清空回收站
删除hdfs文件,但是文件会放入回收站,推荐使用#注意,如果/path路径为回收站路径,那么该删除操作为真实删除,不会再放入回收站。hdfs dfs -rm -f /path删除文件,跳过回收站,直接删除,没有挽回的余地hdfs dfs -rm -f -skipTrash /path清空回收站,不建议使用,特别是生产环境,容易出问题hdfs dfs -expunge ...原创 2019-03-07 17:08:54 · 10761 阅读 · 1 评论 -
创建hive表并插入一条记录后mysql元数据库的变化
前言,为了研究hive元数据库的变化,做了个新的集群,然后做了一张表,然后插入1条记录,观察mysql的变化情况,由此得到了很多有用的结论,例如如何查到这张表的分隔符是什么。上面疑问语句的答案是什么呢?#答案在此mysql -uhive -p -hnamenode01use hive;#SQL语句如下select T5.NAME, T1.TBL_...原创 2019-03-07 16:31:47 · 852 阅读 · 0 评论 -
RedHat6.7+RedHat7.5双系统版本安装CDH
RedHat6.7+CDH5.11.0安装与配置章节机架、服务器、网络、操作系统的安装配置主机名修改修改时区host文件修改关闭防火墙SELinux禁用透明大页面ROOT互信jdk安装配置group与user预定义mysql安装与配置配置JDBC驱动yum环境安装部署http服务设置卸载chrony,安装ntp服务并配置swap交换分区设置重启服务器安装cl...原创 2019-03-07 17:13:21 · 1010 阅读 · 0 评论 -
升降HDFS副本数量
1 检查副本数量例如检查hive中cs表的副本数量hdfs fsck /user/hive/warehouse/cs由上图可以看到副本数量为32 降副本数量由于是目录,所以使用-R参数,可以递归。hdfs dfs -setrep -R -w 2 /user/hive/warehouse/cshdfs fsck /user/hive/warehouse/cs从上图...原创 2019-02-28 14:51:40 · 3618 阅读 · 0 评论 -
redhat7.4安装CDH6.0.1
1. 系统环境修改1.1 修改主机名所有节点均需执行该步骤#主机 192.168.5.11 输入如下指令hostnamectl set-hostname cdh1#主机 192.168.5.12 输入如下指令hostnamectl set-hostname cdh2#主机 192.168.5.13 输入如下指令hostnamectl set-hostname cdh3#主机...原创 2019-02-28 14:50:37 · 1487 阅读 · 0 评论 -
nginx安装与impala的负载均衡配置
操作系统:小红帽6.7下载nginx 下载地址直接下载最新版的包即可编译#安装前置的依赖包,可以挂在系统镜像后使用yum命令安装即可yum install -y gc gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel ncurses-devel perl#编译./configure --user...原创 2019-02-28 11:25:02 · 728 阅读 · 2 评论 -
redhat7.4完全卸载cdh5.11.0集群
前言 我的学习环境,不需要保留数据库与集群数据,下次更新集群数据保留与数据库数据保留文章,本文章用途可用在特定的场景中:服务器数量缩减后转做他用,不需要保留任何大数据相关的残留。 卸载前集群状态如下,需要全部卸载而后转做他用:主机名私网IP节点状态cdh1192.168.5.11主节点、mysql数据库cdh2192.168.5.12从节点cdh...原创 2019-02-28 11:21:35 · 328 阅读 · 0 评论