![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
frank_jyp
这个作者很懒,什么都没留下…
展开
-
namenode正常启动后一会就挂掉
namenode日志信息:2018-03-02 08:33:15,225 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Start loading edits file /data/dfs/nn/current/edits_0000000000000406557-00000000000004065782018-03-02 08:3...原创 2018-08-20 17:42:03 · 5948 阅读 · 1 评论 -
手动调整hdfs单个目录备份数
sudo -u hive hdfs dfs -setrep -R -w 2 /user/hive/test.db #手动改变hdfs备份数,此脚本改变/user/hive/test.db目录所有文件备份数为2原创 2018-08-20 17:44:03 · 1978 阅读 · 0 评论 -
hdfs增加新的datanode报错Datanode denied communication with namenode
2017-08-25 15:23:35,961 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-41444263-10.31.130.229-1494815561438 (Datanode Uuid 8d7dfef6-8510-4082-beef-a30e76622baa) service to j-ecs-o...原创 2018-08-20 17:47:52 · 547 阅读 · 0 评论 -
yarn对主节点单独配置角色和group,降低资源配置
因为主节点既既包含resourceManager,又包含nodeManager;所以对主节点上面的nodeManager单独配置角色管理,降低资源配置,防止在运算过程中主节点的资源占用太多,影响主节点稳定性;实现效果如下: 具体步骤如下:1、点击Role Groups,增加一个组 2、增加了一个叫namenode的group后,将主节点从别的组中归入到该组...原创 2018-08-20 17:58:04 · 1307 阅读 · 0 评论 -
Python数据挖掘-Python with hadoop
一、SnakeBite1.1 Snakebite介绍介绍:Snakebite由Spotify创建,需要python2 (python3版本目前并不支持) and python-protobuf 2.4.1或更高版本。Snakebite提供了一个Python客户端库,允许客户从Python应用程序中以编程方式访...转载 2018-10-18 17:58:02 · 424 阅读 · 0 评论 -
hadoop 报错解决汇总
Name node is in safe mode这是因为在分布式文件系统启动的时候,开始的时候会有安全模式,当分布式文件系统处于安全模式的情况下,文件系统中的内容不允许修改也不允许删除,直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改...转载 2018-10-29 17:04:23 · 2080 阅读 · 0 评论