![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
醉糊涂仙
这个作者很懒,什么都没留下…
展开
-
hadoop的命名空间用来保证hdfs被连接时的高可用
示例:zookeeper<property> <name>hbase.zookeeper.quorum</name> <value>flux04:2181,flux05:2181,flux06:2181</value></property>示例:<property> <name>hbase.rootdir</name> <value>hdfs://hadoop01:9000原创 2017-08-26 20:24:14 · 5473 阅读 · 2 评论 -
hadoop yarn隔离机制
资源调度和资源隔离是YARN作为一个资源管理系统,最重要和最基础的两个功能。资源调度由ResourceManager完成,而资源隔离由各个NodeManager实现,在文章“Hadoop YARN中内存和CPU两种资源的调度和隔离”中,我已经介绍了YARN的内存和CPU的资源隔离,本文将介绍YARN在资源隔离方面的一些进展。 当谈及到资源时,我们通常指内存,CPU和IO三种资源。默认情况下,YAR原创 2017-08-24 10:44:34 · 459 阅读 · 0 评论 -
快速启动hadoop集群
注:针对hadoop2.0,该版本没有secondNameNode 1)进入到NameNode对应节点的Hadoop安装目录下。 2)执行启动脚本: bin/start-dfs.sh (如果配置过环境变量,可以直接start-dfs.sh,但要在NameNode节点下) 这一脚本会逐个启动NameNode,然后根据conf/slaves中的记录逐个启动DataNode,接着启动journal原创 2017-11-09 11:09:59 · 494 阅读 · 0 评论 -
Hadoop集群搭建
1,准备6台虚拟机(新的),建议1G内存 2,调通虚拟机网络http://blog.csdn.net/u010916338/article/details/78486568 3,永久关闭每台虚拟机防火墙 http://blog.csdn.net/u010916338/article/details/77511988 3.永久更改每台的主机名,big04,big05……big09 http:原创 2017-11-09 19:28:17 · 307 阅读 · 0 评论 -
hdfs命令
一,查看hdfs文件hadoop fs -ls / 查看HDFS根目录二,下载hdfs文件hadoop fs -get /test/test.txt /home/hbase三,删除hdfs文件或者文件夹hadoop fs -rm /test1/test.txthadoop fs -rmr /test1...原创 2018-07-18 17:41:04 · 210 阅读 · 0 评论 -
Java增量写入字符串到hdfs
<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.7.1</version>...原创 2019-05-04 22:43:38 · 2208 阅读 · 0 评论 -
Error: JAVA_HOME is incorrectly set. Please update D:\skill\hadoop-2.7.1\conf\hadoop-env.cmd
1,检查Java -version正常显示2,检查hadoop系统环境变量配置HADOOP_HOME和PATH3,如果Java安装在c盘的默认路径下,没有修改过。那么将hadoop-2.7.1\etc\hadoop\hadoop-env.cmd文件中的set JAVA_HOME=%JAVA_HOME%修改成set JAVA_HOME=C:\PROGRA~1\Java\...原创 2019-05-05 10:26:32 · 3315 阅读 · 3 评论 -
There are 0 datanode(s) running and no node(s) are excluded in this operation.
可能是由于执行两次hadoop namenode -format格式化造成的。措施:删除掉生成的current文件夹,最好将datanode和namenode文件夹中的current都删除。注意每个人配置的路径不同,如果查阅不到请到配置文件hdfs-site.xml中查找。<!--配置namenode数据存放的位置,可以不配置,如果不配置,默认用的是core-site.xml里配...原创 2019-05-15 17:36:52 · 2558 阅读 · 2 评论 -
Python无法读取hdfs,requests.exceptions.ConnectionError: HTTPConnectionPool(host='big08', port=50075): Ma
一,问题描述:在用python的hdfs库操作HDFS时,可以正常的获取到hdfs的文件from hdfs.client import Client#读取hdfs文件内容,将每行存入数组返回def read_hdfs_file(client,filename): #with client.read('samples.csv', encoding='utf-8', deli...原创 2019-07-26 12:51:57 · 3880 阅读 · 3 评论