![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 56
白开水v5
这个作者很懒,什么都没留下…
展开
-
安装hadoop - CentOS6大数据套件HA安装(3)
环境变量参考【CentOS6-大数据套件HA安装(1)统一环境配置)】此处所有机器防火墙关闭,实际可根据需要调整。软件包统一在/usr/local/soft 目录,安装目录为:/hadoop安装hadoop解压tar -xzvf /usr/local/soft/hadoop-2.7.6.tar.gz -C /hadoop/创建tmp、journal目录mkdir /h...原创 2018-05-18 14:10:24 · 278 阅读 · 0 评论 -
大数据-spark、hadoop、hbase错误汇总
1. Name node is in safe mode# 强制离开安全模式hadoop dfsadmin -safemode leave参数value的说明如下:enter - 进入安全模式leave - 强制NameNode离开安全模式get - 返回安全模式是否开启的信息wait - 等待,一直到安全模式结束。2. spark thrift mysql:...原创 2018-05-10 16:22:02 · 1229 阅读 · 0 评论 -
使用linux脚本shell检查大数据各节点服务是否运行正常
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常,包括:zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。注意修改成自己的集群节点名称及kafka版本#!/bin/bash# 定义机器名前缀HN_PREFIX="hadoop.test"KFK_NAME="kafka_2.12-1.1.0"# 各...原创 2018-12-27 16:27:47 · 964 阅读 · 0 评论 -
CDH在yarn上运行程序乱码
安装完成CDH后,在yarn上不管是使用hive运行mapreduce还是spark,中文全都会乱码。1. linux的环境变量设置字符集vi /etc/profileexport LANG=zh_CN.UTF-82. 修改mapreduce的环境变量hadoop-env.shexport HADOOP_OPTS="-server -Dfile.encoding=...原创 2019-08-26 17:53:46 · 4288 阅读 · 9 评论