hadoop运维
AA赵师傅
人家只是个小职员啦,工作多,没提成。别人休假我加班。房贷没还清,保险自己买,不过好在我不用交停车费,因为我根本买不起车。
展开
-
hive解析json格式数据
get_json_object函数使用1)数据xjson[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]2)取出第一个json对象select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]','$[0]');结果是:{"name":"大郎","sex":"男".原创 2021-02-02 20:56:41 · 1256 阅读 · 0 评论 -
Yarn容量调度器设置
1)增加hive队列默认Yarn的配置下,容量调度器只有一条Default队列。在capacity-scheduler.xml中可以配置多条队列,修改以下属性,增加hive队列。<property> <name>yarn.scheduler.capacity.root.queues</name> <value>default,hive</value> <description> Th...原创 2021-02-01 22:08:01 · 710 阅读 · 0 评论 -
hadoop集群所有进程查看脚本
1)在/home/mars/bin目录下创建脚本xcall.sh[mars@hadoop102 bin]$ vim xcall.sh2)在脚本中编写如下内容#! /bin/bashfor i in hadoop102 hadoop103 hadoop104do echo --------- $i ---------- ssh $i "$*"done3)修改脚本执行权限[mars@hadoop102 bin]$ chmod 777 xcall.sh...原创 2021-01-25 20:40:38 · 314 阅读 · 0 评论 -
hadoop实用组件启停脚本
1)在hadoop102的/home/mars/bin目录下创建脚本[mars@hadoop102 bin]$ vim zk.sh 在脚本中编写如下内容#!/bin/bashcase $1 in"start"){ for i in hadoop102 hadoop103 hadoop104 do echo "------------- $i -------------" ssh $i "/opt/module/zoo...原创 2021-01-24 11:09:12 · 152 阅读 · 0 评论 -
hadoop安装完成后基准测试
1) 测试HDFS写性能 测试内容:向HDFS集群写10个128M的文件[mars@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB2020-04-16 13:41:24,724 ...原创 2021-01-24 10:31:34 · 206 阅读 · 0 评论 -
regexp_extract函数
regexp_extract(字符串, 正则表达式, 返回格式) 返回格式0 返回全部字符串正则表达式解析函数。 功能强大提取字母的正则表达式:([0-9]+)提取数字的正则表达式:([a-z]+)提取中文的正则表达式:([啊-龥]+)select regexp_extract('wde我的qw','[啊-龥]+',0) 我的这个...原创 2019-06-04 16:45:52 · 9030 阅读 · 0 评论 -
hive中调用函数一直处于卡顿状态
博主遇到过调用函数count等时sql一直卡顿,不调用mr,一直处于job创建的状态,后来经博主多次测试发现,该问题出现在yarn上面。job创建完成后无法调用mapreduce,挨个主机检查,nodemanager正常,但未找到resourcemanager,所以,对该集群进行yarn重启,重启完毕后resourcemanager恢复,hive可以正常调用函数,可以正常调用mapredu...原创 2018-08-20 10:30:08 · 884 阅读 · 0 评论 -
使用cloudera manager进行hadoop安全认证-simple模式
使用cloudera manger进行hadoop安全认证配置-simple模式原创 2018-07-11 17:32:52 · 2492 阅读 · 0 评论 -
Cloudera-Manager修改集群主机的IP
1、业务需求说明:由于公司网络进行了整改,随之而来的就是对应的ip网段发生了变化,其中我的hadoop的集群各主机的ip也相应的发生了改变,因此需要对各主机进行修改ip。2、具体操作: 首先停止cdh各组件的服务,修改各主机的ip。修改完后,本以为完事儿了,启动Cloudera Management Service时,发现启动失败,无法启动。那么问题就来了,如何通过cloudera-ma...原创 2018-06-20 11:17:28 · 900 阅读 · 2 评论 -
使用cloudera manager重启集群后部分节点无法启动问题解决
博主遇到过使用cloudera manager重启集群后出现多个节点所有功能均无法连接,对该主机功能进行单点启动时并无报错信息,因为查询不到报错信息,就无法针对性的进行修复,所以进行多次测试定位到问题原因: 常见单节点无法启动导致原因为cm连接异常,命令传输超时,并且日志中无报错,此时应重启该节点cm agent应用 cm重启方法:找到cm存放路径(如安装路径不同和安装版本不同...原创 2018-05-30 15:27:55 · 2911 阅读 · 0 评论 -
hadoop常用命令总结
jps:查看进程hadoop dfsadmin -safemode leave:关闭安全模式,安全模式下只读hadoop dfsadmin -safemode enter:进入安全模式 get: 获取安全模式信息 wait:挂起,直到安全模式结束hadoop fs -help :查看帮...原创 2018-05-22 11:12:20 · 1083 阅读 · 0 评论 -
hadoop集群重启后hive元数据库无法连接
对于hadoop生成集群来说,可能一年或者两年多年没有重启过都有可能,所以在这种情况下对集群进行重启就会遇到很多未知的危险。 在做hadoop安全认证...原创 2018-05-08 18:44:27 · 1793 阅读 · 0 评论 -
hadoop从节点linux系统崩溃数据恢复实记
在工作中,虽然遇到linux系统崩溃的几率不高,但是万一遇到了就十分棘手,对于hadoop集群单个节点崩溃来说,一般不会导致数据块的丢失,直接重做系统,换个磁盘,数据也会自动恢复,但是你遇到数据块丢失的情况么?例如:有一个表的数据备份设置为1份,或者很不幸多个主机系统同时崩溃就会导致数据块丢失!很不幸,博主在前些日子就遇到linux系统崩溃,而且有部分数据备份只有1份,更不幸的是2...原创 2018-05-08 14:53:15 · 1154 阅读 · 0 评论 -
hadoop集群负载均衡以及配置方法
一个良好的hadoop集群应该是数据均匀的分布在各个节点上,而不是一个节点磁盘都满了,而另一个磁盘使用率才不到10%,这里简单介绍一下hadoop数据存储的原理以及如何保证数据均匀的分布在各个节点上。 本地数据上传hdfs存储流程: 第一块副本:首先集群会判断该上传主机是不是DataNode,如果是DataNode,并且空间够用的情况下,会首先把数据存储在本DataNo...原创 2018-05-07 18:25:56 · 4496 阅读 · 0 评论 -
hadoop集群重启后数据丢失处理
一般hadoop集群重启后会立即处于安全模式,主节点检查各个从节点数据正常后会自动解除安全模式,是否丢失数据可使用命令 “hadoop fsck 路径"来进行查看,例如:hadoop fsck / 查看根目录下所有文件的健康状况,是否有损坏的数据块如果重启前你的集群是正常的,没有丢失数据,而重启结束之后检查发现该目录下...原创 2018-05-07 16:58:28 · 4117 阅读 · 2 评论