![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
CoderMurphy
这个作者很懒,什么都没留下…
展开
-
oozie错误:job一直在running或者SUSPENDED,但是就是不执行。任务单独执行是可以的。
1.问题描述一个简单的mapreduce的wordcount任务,单独使用yarn调用时没有任何问题,可以跑出来。但是,放入yarn的时候,就会出现问题。一直时Running的状态,而且hadoop对应目录下也没有输出结果的目录,很是头痛。2.原因:经过百般查找和无限次尝试,发现是job.properties的jobTracker属性端口配置错误导致。因为Oozie去调用Hadoop...转载 2019-11-19 17:08:37 · 582 阅读 · 0 评论 -
关于hue安装后出现KeyError: "Couldn't get user id for user hue"的解决方法
首先说明出现此问题的原因是因为你使用的root用户安装了hue,然后在root用户下使用的build/env/bin/supervisor,如下图所示那样:知道了原因,就容易解决问题了。首先要创建个普通用户,并给添加密码。如果密码给的过于简单,会给出提示,忽略就行,如下图:然后,我们要给刚才解压的hue文件改变拥有者属性,通过 chown -R hue 文件地址。如下图:最...转载 2019-11-19 17:05:50 · 400 阅读 · 0 评论 -
Hue安装及使用
Apache Hue一、 Apache Hue介绍1. Hue是什么#后台启动hue和关闭huenohup build/env/bin/supervisor &ps -ef | grep huekill -9 xxx(先杀死build/env/bin/supervisor的端口)kill -9 xxx(再杀死runcherrypyserver的端口)123456...转载 2019-11-19 16:53:10 · 676 阅读 · 0 评论 -
flume
https://blog.csdn.net/dehu_zhou/article/details/81939965 修改Zookeeper输出日志 zookeeper.out输出路径https://www.cnblogs.com/mingforyou/p/8297721.html 提示-bash: telnet: command not found的解决方法https://www...原创 2019-11-11 19:15:28 · 87 阅读 · 0 评论 -
hive中的正则表达式及其应用
今天来说一下hive中的正则表达式,主要包含:元字符匹配、位置匹配、频率匹配1、元字符匹配(.)表示匹配除换行符以外的任意字符。(\w) 表示匹配字母、下划线、数字或汉字(\\W)。(\d) 表示匹配数字(\s) 表示匹配任意的空白符([ ])表示匹配方括号中任一字符([^匹配内容]) 表示匹配方括号中任一字符2、位置匹配(^) 表示匹配字符串的开始,...转载 2019-11-10 20:10:37 · 908 阅读 · 0 评论 -
HDFS部分:8020端口,9000端口和50070端口号,50090,9083,2181,6379的区别
8020端口:在cd /opt/sxt/hadoop-2.6.5/etc/hadoop/coresite.xml下的配置:<property><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>node01:8020</value></proper...转载 2019-11-03 10:45:27 · 3131 阅读 · 0 评论 -
HADOOP中的CRC数据校验文件
概要Hadoop系统为了保证数据的一致性,会对文件生成相应的校验文件(.crc文件),并在读写的时候进行校验,确保数据的准确性。在本地find -name *.crchadoop比较适合做离线处理,这个是众所周知的,而且hdfs为了保证数据的一致性,每次写文件时,针对数据的io.bytes.per.checksum字节,都会创建一个单独的校验和。默认值为512字节,因为crc-32校验...转载 2019-11-01 19:50:50 · 1128 阅读 · 0 评论 -
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是GoogleChubby的开源实现。分布式应用程序可以基于ZooKee...转载 2019-10-31 14:48:19 · 108 阅读 · 0 评论 -
hadoop sbin 目录
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManagersbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeMana...原创 2019-10-31 09:50:22 · 1135 阅读 · 0 评论