hadoop
文章平均质量分 60
JackLi_csdn
这个作者很懒,什么都没留下…
展开
-
hadoop timeout
hdfs.xmlkeyvalue描述fs.s3a.connection.establish.timeout5000Socket connection setup timeout in milliseconds.fs.s3a.connection.timeout200000Socket connection timeout in milliseconds.ipc.client.connect.timeout20000Indicates the number of原创 2020-10-28 13:56:49 · 451 阅读 · 0 评论 -
hadoop 集群配置
yarn-site.xmlyarn.nodemanager.resource.memory-mb 默认8gyarn.nodemanager.resource.cpu-vcores 默认8个Hadoop集群参数和常用端口原创 2020-05-07 17:14:00 · 200 阅读 · 0 评论 -
hadoop dir
core.xmlkeyvaluehadoop.tmp.dir/tmp/hadoop-${user.name}fs.protected.directoriesfs.s3a.committer.staging.tmp.pathtmp/staginghdfs.xmlkeyvaluedfs.namenode.name.dirfile:/...原创 2020-01-10 11:29:55 · 227 阅读 · 0 评论 -
集群问题
ha resourcemanager无法启动 在无法启动的节点上单独启动./yarn-daemon.sh start resourcemanager8088端口,active的节点使用standby节点的主机名:端口访问 standby节点使用active 的ip:端口访问yarn rmadmin -getServiceState rm1查看状态zkfc无法启动hdfs zkfc -format原创 2016-12-08 18:33:39 · 700 阅读 · 0 评论 -
命令 使用
hdfs常用命令: 上传: hadoop fs -put wp.txt /user 添加文件到hdfs上已经有的文件: hadoop fs -appendToFile a.txt /user/wp.txt hdfs删除文件: hadoop fs -rm -r 路径查看hadoop 状态 hadoop dfsadmin -report磁盘写满: http://qindongl...原创 2016-05-30 19:16:10 · 984 阅读 · 1 评论 -
windows下eclipse开发hadoop的坑
hadoop的版本很重要,不同的版本,报错不同 报错:org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.hdfs.DistributedFileSystem not a subtype解决: Because hdfs schema is registered in hadoop-hdfs.jar, so you can’t j转载 2017-07-21 10:57:48 · 369 阅读 · 0 评论 -
hadoop集群搭建
查看系统是64位还是32位:file /sbin/init 查看hadoop版本 hadoop version检查ssh server:ps -e | grep ssh 查看ssh服务有没有运行,如果有,可以看到类似以下内容: 2254 ? 00:00:00 sshd 若没有则安装ssh server: root]#/etc/rc.d/原创 2016-05-23 18:45:36 · 516 阅读 · 0 评论 -
hadoop 端口
http://www.zhixing123.cn/ubuntu/40649.html转载 2016-12-07 17:12:02 · 400 阅读 · 0 评论 -
yarn
http://www.tuicool.com/articles/Rf6v6j http://blog.csdn.net/lsp1991/article/details/49427407原创 2016-12-12 15:53:57 · 687 阅读 · 0 评论 -
hadoop 集群调优
查看hdfs 大小 hdfs dfs -df -h刷新集群: hadoop dfsadmin -refreshNodes一定要设置负载均衡 ./start-balancer.sh -threshold 1参考: http://www.cnblogs.com/BYRans/p/5128162.html http://www.ibm.com/developerworks/cn/data/lib原创 2016-05-30 13:18:17 · 784 阅读 · 0 评论 -
Hadoop
Hadoop:分布式系统基础架构 HDFS(分布式文件系统) 配置的位置: /letv/data/hadoop-2.6.0/etc/Hadoop 配置hdfs-site.xml: hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM(Qurom Journal Manager)。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组Jour转载 2016-04-28 15:59:27 · 602 阅读 · 0 评论 -
hadoop集群删除节点
http://www.aboutyun.com/thread-7532-1-1.html /letv/data/hadoop-2.6.0/bin/hadoop dfsadmin -refreshNodes原创 2016-05-26 13:56:07 · 405 阅读 · 0 评论