- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop——Namenode HA搭建问题记录
记录一、在搭建Namenode HA后，需要先启动journalnode，然后进行namenode format，在启动第二台namenode时需要先向元数据拉取到第二台namenode中，使用 hdfs haadmin -bootstrapStandby进行拉取，不然启动第二台namenode时会出现org.apache.hadoop.hdfs.server.common.Inconsist...
2019-03-10 14:07:39
309
原创 Linux Shell脚本while read Line中调用SSH时出现只执行一次的问题
今天在写zookeeper群起脚本时，将主机名先写好在一个文本中，然后在群起脚本中循环读取主机名，然后使用ssh远程执行命令，发现只执行一次就退出了，但是把ssh远程命令注销之后可以完整的将while循环执行完毕。参考：http://bbs.chinaunix.net/thread-3582099-1-1.htmlhttps://blog.csdn.net/eclipse_c/articl...
2019-03-09 12:38:24
1652
原创 Hadoop——MapReduce过程
MapReduce由Mapper和Reucer组成，Mapper负责处理每行数据，Reducer处理相同Key的一组数据。MapReduce运行是由Driver中的job通过submit()进行作业提交，submit()包含与集群建立连接和提交作业的过程，在提交作业时会进行切片，默认的切片方法是使用的TextInputFormat，它进行切片时根据文件的大小进行切割，默认切割规则是否达到...
2019-03-08 19:14:44
370
原创 Hadoop——使用java对HDFS文件进行增删改查
1、导入相关jar包。将Hadoop目录下的share中的jar包导入到Eclipse2、创建配置信息对象并通过FileSysem.get()回复文件系统对象Configuration conf = new Configuration();//URI对应的地址为core-site.xml中fs.defaultFS对应的地址//“enche”是访问hdfs时的用户名F...
2019-03-08 16:54:17
1088
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人