C# Hadoop

这篇博客介绍了如何在C#环境中配置和使用Hadoop For .NET SDK进行数据处理。首先,详细讲述了安装和配置步骤,包括下载NuGet Package Manager、安装Hadoop For .NET SDK、连接到Hadoop集群等。然后,展示了一个测试DEMO,DEMO中使用Hadoop MapReduce执行了数据的统计任务,并对比了Hadoop处理和普通处理的时间消耗。
摘要由CSDN通过智能技术生成

一、安装环境

1,前期准备:官网下载“NuGet Package Manager”,按自己已有的VS环境下载对应版本;

2,利用NuGet下载Hadoop For .NET SDK,地址“http://hadoopsdk.codeplex.com/

3,安装。

4,通过HDInsight,安装Windows Azure,目前是预览版本。

5,参照网址“http://blogs.msdn.com/b/data_otaku/archive/2013/08/14/hadoop-for-net-developers.aspx” 系统学习API

 

二、测试DEMO

 

[csharp] view plain copy
  1. using System;  
  2. using System.Collections.Generic;  
  3. using System.Linq;  
  4. using System.Text;  
  5. using System.Threading.Tasks;  
  6. using Microsoft.Hadoop;  
  7. using Microsoft.Hadoop.MapReduce;  
  8. using Microsoft.Hadoop.WebClient.WebHCatClient;  
  9. using System.Diagnostics;  
  10. using System.IO;  
  11. using System.IO.MemoryMappedFiles;  
  12.   
  13.   
  14. namespace HadoopConsol  
  15. {  
  16.     class Program  
  17.     {  
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值