- 博客(8)
- 收藏
- 关注
原创 Airflow安装指南(精华版)
改原创文章同步发表在我的个人公众号:Hadoop非权威指南,欢迎关注airflow是一款大数据平台任务调度的开源工具,优雅的可视化操作深得人心,话不多说,直接附上安装教程(由于比较简单,不附图了,后续考虑写一篇小白版)首先声明操作环境: airflow--Version : 1.8.0centos--release 6.9 (Final)python--2.7.3 [1]系统如果没有pip组件,应该先安装: $ wget https://bootstrap.pypa...
2021-11-12 16:17:57
2888
1
原创 mapreduce运行过程反复卡在[org.apache.hadoop.mapred.LocalJobRunner] - reduce > copy原因以及解决办法
先贴具体info:INFO [org.apache.hadoop.mapred.ReduceTask] - Using ShuffleConsumerPlugin: org.apache.hadoop.mapreduce.task.reduce.Shuffle@6c57fea92017-08-15 15:51:35,642 INFO [org.apache.hadoop.mapreduce
2017-08-15 15:57:36
5439
2
原创 SSH面密码登陆设置失败一直需要输入密码可能原因分析
首先交代下背景:三个节点配置ssh出现错误的操作步骤:1.三个节点共同操作一下命令:回车回车回车直到安装完成 2. .ssh文件下生成公钥私钥两个文件: 3.将公钥id_rsa.pub文件cp到新文件authorized_key
2017-08-04 02:21:36
2870
1
原创 使用IntelliJ IDEA导入storm-starter并测试WordCountTopology运行出现 A JNI error has occurred的原因和解决
第一次导入storm包并测试WordCountTopology,出现如下截图错误:解决方法:1.查看POM文件:上图的POM文件中配置参数为:provided应改为:compile如下图:再次测试运行,ok了:"C:\Program Files\Java\jdk1.8.0_131\bin\java"
2017-07-09 14:20:46
23417
原创 Warning: The VM will try to fix the stack guard now.It's highly recommended that you fix the library
背景:linux环境下创建hadoop分布式集群,输入hdfs dfs -ls /,报错:解决代码:# yum install /usr/bin/execstack# execstack -c /home/hadoop20170426/app/hadoop/lib/native/libhadoop.so一般情况下输入上面代码就可以解决这一问题。########
2017-06-08 23:47:14
7117
1
原创 查看hadoop版本信息和位数
1、查看版本信息 通过在集群上执行:hadoop version 如下: 2、查看hadoop集群的位数 执行:cd $HADOOP_HOME/lib/native file libhadoop.so.1.0.0 如下:
2017-06-08 22:37:43
21816
转载 启动namenode,报错 Operation category READ is not supported in state standby解决办法
hdfs haadmin -transitionToActive --forcemanual nn1 输入以上代码,即可正常启动namenode原因:hdfs写的那台机器是待机状态的,所以不支持,要在active 机器中写才行参考自:http://blog.csdn.net/u012599988/article/details/46926851 博主:UpUpUpUpUpUpU
2017-06-08 12:28:38
1066
转载 hadoop多节点集群搭建过程中错误:No such file or directoryhdfs,logs提示出现出现^M的解决办法
声明:由于是在技术qq群里得到的答案,原创作者无从追溯,若有侵权,请mail285926969@qq.com告知,必定注明出处。出现这个错误并不是代码问题,而是LINUX环境下用rz命令上传的文本格式为doc,需要更改为unix格式后系统才会正确读取代码,具体操作如截图:
2017-06-07 22:00:05
2527
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人