hadoop
wangluowanglei
AIGC技术落地
展开
-
hadoop anzhuang
<!--@page {margin:0.79in}p {margin-bottom:0.08in; direction:ltr; color:#000000; text-align:justify; widows:0; orphans:0}p.western {font-family:"Times New Roman",serif; font-siz原创 2012-08-18 23:40:03 · 729 阅读 · 0 评论 -
hadoop_apache_配置文件_2012_9_18
# /etc/profile: system-wide .profile file for the Bourne shell (sh(1))# and Bourne compatible shells (bash(1), ksh(1), ash(1), ...).if [ "$PS1" ]; then if [ "$BASH" ] && [ "$BASH" != "/bin/sh原创 2012-09-18 21:40:53 · 658 阅读 · 0 评论 -
hadoop 客户端写数据的过程
1.先描述一下写。在客户端往hdfs写数据的时候(应该包括append),数据是以包为单位发生到hdfs的datanode上的。包会先放到一个dataQueue中去,有一个DataStreamer服务会查看这个dataQueue是否有包,并且坚持这个包是不是块(一个hdfs块,默认的为64M)。如果有包了会先向namenode申请一个block(这个block为新分配的块,其中包括datanode原创 2013-11-05 16:47:56 · 1130 阅读 · 0 评论 -
taskTracker请求任务执行任务的过程
1.此次仅说明一个task任务的执行流程task是由taskTracker负责执行的,在taskTracker中,有两个控件:TaskLauncher。一个TaskLauncher为map的TaskLauncher,一个为reduce的TaskLauncher。这两个控件在taskTrack初始化的时候也初始化。TaskLauncher内部有一个tasksToLaunch的队列,这个队列是原创 2013-11-12 14:51:15 · 1261 阅读 · 0 评论 -
HDFS文件的tail
package com.xxx.hdfstail;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import org.apache.hadoop.conf.Configuration;import org.apache.hadoo原创 2013-12-05 18:00:59 · 1307 阅读 · 0 评论