moon_love_banana-CSDN博客

原创 Airflow安装指南（精华版）

改原创文章同步发表在我的个人公众号：Hadoop非权威指南，欢迎关注airflow是一款大数据平台任务调度的开源工具，优雅的可视化操作深得人心，话不多说，直接附上安装教程（由于比较简单，不附图了，后续考虑写一篇小白版）首先声明操作环境： airflow--Version : 1.8.0centos--release 6.9 (Final)python--2.7.3 [1]系统如果没有pip组件，应该先安装： $ wget https://bootstrap.pypa...

2021-11-12 16:17:57 2862 1

原创 mapreduce运行过程反复卡在[org.apache.hadoop.mapred.LocalJobRunner] - reduce ＞ copy原因以及解决办法

先贴具体info:INFO [org.apache.hadoop.mapred.ReduceTask] - Using ShuffleConsumerPlugin: org.apache.hadoop.mapreduce.task.reduce.Shuffle@6c57fea92017-08-15 15:51:35,642 INFO [org.apache.hadoop.mapreduce

2017-08-15 15:57:36 5379 2

原创 SSH面密码登陆设置失败一直需要输入密码可能原因分析

首先交代下背景：三个节点配置ssh出现错误的操作步骤：1.三个节点共同操作一下命令：回车回车回车直到安装完成 2. .ssh文件下生成公钥私钥两个文件： 3.将公钥id_rsa.pub文件cp到新文件authorized_key

2017-08-04 02:21:36 2817 1

原创使用IntelliJ IDEA导入storm-starter并测试WordCountTopology运行出现 A JNI error has occurred的原因和解决

第一次导入storm包并测试WordCountTopology，出现如下截图错误：解决方法：1.查看POM文件：上图的POM文件中配置参数为：provided应改为：compile如下图：再次测试运行，ok了："C:\Program Files\Java\jdk1.8.0_131\bin\java"

2017-07-09 14:20:46 23394

原创 Warning: The VM will try to fix the stack guard now.It's highly recommended that you fix the library

背景：linux环境下创建hadoop分布式集群，输入hdfs dfs -ls /，报错：解决代码：# yum install /usr/bin/execstack# execstack -c /home/hadoop20170426/app/hadoop/lib/native/libhadoop.so一般情况下输入上面代码就可以解决这一问题。########

2017-06-08 23:47:14 7066 1

原创查看hadoop版本信息和位数

1、查看版本信息　　通过在集群上执行：hadoop version 如下：　　2、查看hadoop集群的位数　　执行：cd $HADOOP_HOME/lib/native　　　　　file libhadoop.so.1.0.0　如下：

2017-06-08 22:37:43 21794

转载启动namenode,报错 Operation category READ is not supported in state standby解决办法

hdfs haadmin -transitionToActive --forcemanual nn1 输入以上代码，即可正常启动namenode原因：hdfs写的那台机器是待机状态的，所以不支持，要在active 机器中写才行参考自：http://blog.csdn.net/u012599988/article/details/46926851 博主：UpUpUpUpUpUpU

2017-06-08 12:28:38 1038

转载 hadoop多节点集群搭建过程中错误：No such file or directoryhdfs，logs提示出现出现^M的解决办法

声明：由于是在技术qq群里得到的答案，原创作者无从追溯，若有侵权，请mail285926969@qq.com告知，必定注明出处。出现这个错误并不是代码问题，而是LINUX环境下用rz命令上传的文本格式为doc,需要更改为unix格式后系统才会正确读取代码，具体操作如截图：

2017-06-07 22:00:05 2519

moon_love_banana的博客