hadoop
斯特兰奇
这个作者很懒,什么都没留下…
展开
-
flume采集文件写hdfs不能创建目录的问题
用exec source运行flume-ng agent后hdfs上不能创建指定的文件目录,可能的三种情况如下一、配置文件中的监听端口和hadoop下的core-site.xml中的端口不一致在我新建的.conf文件里面,需要配置hdfs的路径hdfs://192.168.122.102:9000/flume/upload/%Y%m%d/%H注意:此处端口号应该和hadoop下的core-site.xml里面的配置一样,否则写入不到Hdfs,这里最为致命然后,开启flume监听端口。原创 2020-10-30 23:10:54 · 1750 阅读 · 5 评论 -
hadoop中的Name node is in safe mode的解决方法
hadoop集群长期待机,过程中由于硬盘快用了,导致集群进入安全模式,再次启动hive的时候出现以下错误提示:Cannot create directory /tmp/hive/usr100/58b61340-fdb6-434c-be24-2f8f23fc524e. Name node is in safe mode.Resources are low on NN. Please add o...原创 2020-05-06 18:57:44 · 5457 阅读 · 0 评论 -
win系统下pycharm下py2.x和py3.x双环境的pyspark配置
一、py2.x和py3.x双环境的安装第一步:首先在win上分别安装anaconda2和anaconda3,注意安装在不同的文件路径下,并且在安装二个的时候下边这二个框不一定不勾选,安装第一个时候可以勾选。然后,分别设置好环境变量,如果第一个勾选了上边二个框是会自动设置环境变量的安装好后,分别找到安装目录,修改python.exe的名字分别修改为python2.exe,pyth...原创 2020-05-06 11:05:57 · 358 阅读 · 0 评论 -
搭建hadoop集群常见坑二:hadoop集群中namenode启动不起来的成因和二种解决方法
hadoop集群中namenode启动不起来如何解决新手在初次搭建hadoop集群中经常遇到namenode或者databode启动不起来,大概率是因为多次格式化NameNode造成的。因为吗每格式化一次NameNode,就会产生新的集群id...原创 2020-04-25 12:05:12 · 5329 阅读 · 1 评论 -
搭建hadoop集群常见坑一:secondarynamenode只在root账户能启动在一般账户不能启动的解决方法。
一、事情的起因:本来是按照手册顺利的安装了全分布式集群,并且能够正常启动集群,集群又、有三台集群,hadoop102 是master,其他2台是node,secondarynamenode配置在hadoop104上,一次手痒不小心在master下的root账户下启动了集群,然后就发现在hadoop104的一般账户下不能启动secondarynamenode了,但是在hadoop104的ro...原创 2020-04-24 06:02:32 · 2072 阅读 · 0 评论