菜鸟的专栏

官方提供的hadoop-2.x版本貌似都是32位的，在64位机子下使用可能会报错，最好使用官方提供的源码进行本地编译，编译成适合本地硬件环境的64位软件包。关于native 　 Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（Native Libraries）的概念，通过本地库，Hadoop可以更加高效地执行某一些操作。　 native位于h

给出child-parent表，输出grandchild-grandparent表child parentTom LucyTom JackJone LucyLucy MaryLucy BenJack AliceJack JesseTerry AliceTerry JessePhilip TerryPhilip AlmaMark TerryMark Alma代码：impor

WordCount.javaimport java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Ma

1.预先加载本地的输入文件 2.经过MAP处理产生中间结果 3.经过shuffle将key相同的中间结果分配到同一个节点去处理 4.Reduce处理产生结果输出 5.将结果保存在hdfs上 MAP阶段所做工作：在map阶段:1.使用job.setINputFormatClass定义的InputFormat将输入的数据集分割成小数据块splites;2.同时InputFormat提供一

准备工作： 与上一篇相同 代码：package com.peng.hdfs;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandler

准备工作： 1.导入所需要的jar包（最好把hadoop的jar包全部导入） 2.把集群的hdfs-site.xml和core-site.xml文件复制到src目录下 代码：package com.peng.hdfs;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache

1、不要随便去格式化NameNode，会带来各种错误; 2、虚拟机一定要保存快照。

map:# !/usr/bin/env pythonimport sysfor line in sys.stdin: line = line.strip() words = line.split() for word in words: print ("%s\t%s") % (word, 1)reduce:#!/usr/bin/env pythonimport op

1.把插件拷到eclipse插件包中（一定注意插件版本，否则会出错）； 2.把1号拷入widows系统system32文件夹下，把1,2拷入hadoop bin目录下 运行程序结果： 3.对应插件未上传，如需要可直接留言 4.同时注意代码中路径的设置：

设计思路:二次排序的含义为先按某列对数据进行排序，在该次排序的基础上再按照另一列的值进行排序：4 34 24 13 42 72 33 13 23 3SecondaryMapper:import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.NullWritable;import org.apache.

重新格式化了namenode发现DataNode不能启动了，原因是namenode 的clusterID与datanode的clusterID不一致造成，把datanode的cluserID改成NameNode的（注意在对应的机器下去找）

import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.util.Set;import org.apache.hadoop.io.Text;import org.apache.hadoop.io.WritableComparable;/* * Haoop提供的Writ

import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.IOException;import org.apache.hadoop.io.IntWri

设计思路：学生信息表studnet_info.txt:Jenny 00001Hardy 00002Bradeley 00003学生选课信息表student_class_info.txt00001 Chinese00001 Math00002 Music00002 Math00003 Physic经过join操作后，所得结果：Jenny ChineseJenny MathHar

计算每个词在每篇微博中的权值 思路： 公式：TF* loge(N/DF) TF:当前词在本篇微博中出现的次数 N：总微博数 DF：当前词在多少微博中出现过 编程时特别注意不要导错包，不让会出现许多奇怪的错误： 1.测试数据3823890335901756 今天是今年最暖和的一天，果断出来逛街！3823890364788305 春天来了，约好友一起出去去踏青

今天在hdfs系统新建文件夹，出现下面异常： 在浏览器管理界面看两个namenode都处于standby状态，运行下面命令把node1(nn1)设置为active状态，问题解决：hdfs haadmin -transitionToActive --forcemanual nn1