hadoop
浪里白虎
计算机学院的一位小同学
展开
-
hadoop——WordCount研究心得
先上hadoop自带wordcount源码:import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import or...原创 2020-03-12 22:32:38 · 544 阅读 · 0 评论 -
MapReduce运行机制
mapreduce作业执行涉及4个独立的实体:客户端(client):编写mapreduce程序,配置作业,提交作业,这就是程序员完成的工作;JobTracker:初始化作业,分配作业,与TaskTracker通信,协调整个作业的执行;TaskTracker:保持与JobTracker的通信,在分配的数据片段上执行Map或Reduce任务,TaskTracker和JobTracker的不同有...原创 2020-03-12 21:36:00 · 268 阅读 · 0 评论 -
hadoop常见错误
异常1:Failing this attempt.Diagnostics: [2020-03-08 21:42:10.626]Exception from container-launch.Container id: container_1583674791011_0001_02_000001Exit code: 1[2020-03-08 21:42:10.709]Container e...原创 2020-03-08 21:52:17 · 2139 阅读 · 4 评论 -
自学Jsoup后捣鼓出来的小型java爬虫
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...原创 2020-03-12 22:39:39 · 113 阅读 · 0 评论 -
hadoop启动后发现namenode没有启动,但是排除了格式化过度的问题
hadoop启动后发现namenode没有启动,网上说的格式化过度的问题我是没有的,因为我只格式化过一次。之后查看日志vim /opt/hadoop/logs/namenode对应的log文件发现2020-03-03 23:16:21,868 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics sy...原创 2020-03-03 23:59:22 · 359 阅读 · 0 评论 -
hadoop上传不了文件之后发现-Configured Capacity: 0 (0 B)
hadoop上传不了文件之后发现-Configured Capacity:为0。没有空间了。但是我的电脑空空如也,所以我hdfs dfsadmin -report查看hdfs是否真的有空间分配出去,但是Configured Capacity: 0 (0 B).上网百度之后,发现说是多次格式化导致容量分配为0.不过我只格式化过一次。所以问题肯定不在这,我又看了许多文章,发现也有说是host出错了...原创 2020-03-03 23:50:00 · 1932 阅读 · 0 评论