![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
C# Hadoop云计算 初探与思考(备忘)
直男250
多学多做
展开
-
C# Hadoop学习笔记(三)—集群部署结构
一,小型或测试用集群部署推荐 二、生产环境部署原创 2013-10-17 13:01:34 · 2825 阅读 · 0 评论 -
C# Hadoop学习笔记(五)—设计粗浅的C#的云计算框架
(一)、基本思路 JobQueue(工作队列)——Jobs(工作内容)——Tasks(执行计算) 1、JobQueue,负责承载计算任务列表,允许并行任务进行; 1)属性:包含优先级、并发任务最大数量; 2)状态监控:活跃数量、成功、失败; 3)行为:添加一个任务原创 2013-10-17 13:02:06 · 3082 阅读 · 0 评论 -
C# Hadoop学习笔记(二)—架构原理
一,架构二、名词解释 (一)NameNode(简称NN),Hadoop的主节点,负责侦听节点是否活跃,对外开放接口等。在未来的大数据处理过程中,由于访问量和节点数量的不断增多,需要该节点的处理能力较高,因此从集群搭建的角度,建议该节点的CPU配置较高。 (二)SecondNameNode(SNN),Hadoop高可用的备份节点,主要用途是主节点宕机或者不可用的情况下,自原创 2013-10-17 13:01:09 · 3743 阅读 · 0 评论 -
C# Hadoop学习笔记(四)—设计自己的云计算框架
通过粗浅的了解Hadoop的源码和结构后,产生自己创建云计算的想法,记录备案日后完善。一、部署结构(二)网络结构原创 2013-10-17 13:01:33 · 3138 阅读 · 0 评论 -
C# Hadoop学习笔记(十)—C#的分布式计算运行结果
一、Master启动二、Job启动三、本地大文件四、启动计算节点1、2五、启动客户端六、开始结算其中,客户端Mapper代码[DataContract] public class MyMaper : MapperBase { public override void Map(string inputLin原创 2013-10-28 13:15:59 · 1808 阅读 · 0 评论 -
C# Hadoop学习笔记(六)—C#的云计算框架借鉴(上)
2012年底,末日之后,看到大家都在写年末总结,我也忍不住想一试。工作已经3年半了,头一次写总结。虽然到现在仍是无名小码农一名,但工作这些年,技术着实有不少积累。成长最大的,当然就是这篇文章标题提到的——高性能分布式计算与存储系统的设计和研发过程,这也是我自2010年供职于国内最大的某著名网站之后,和这个系统一起成长,亲眼见证和伴随着它的发展,从一个婴儿一样的"Demo"程序,成长为现在可以处理千原创 2013-10-18 14:20:24 · 3329 阅读 · 1 评论 -
C# Hadoop学习笔记(八)—C#的分布式计算机制
原创 2013-10-18 14:36:23 · 2092 阅读 · 0 评论 -
C# Hadoop学习笔记(七)—C#的云计算框架借鉴(下)
在上篇里,我们主要讨论了,这个系统怎样处理大数据的“读”操作,当然还有一些细节没有讲述。下篇,我们将主要讲述,“写”操作是如何被处理的。我们都知道,如果只有“读”,那几乎是不用做任何数据同步的,也不会有并发安全问题,之所以,会产生这样那样的问题,会导致缓存和数据库的数据不一致,其实根源就在于“写”操作的存在。下面,让我们看一看,当系统需要写一条数据的时候,又会发生怎样的事情? 同样原创 2013-10-18 14:24:16 · 3127 阅读 · 0 评论 -
C# Hadoop学习笔记(一)—环境安装
1,前期准备:官网下载“NuGet Package Manager”,按自己已有的VS环境下载对应版本;2,利用NuGet下载Hadoop For .NET SDK,地址“http://hadoopsdk.codeplex.com/”3,安装。原创 2013-10-12 11:46:21 · 15661 阅读 · 6 评论 -
C# Hadoop学习笔记(九)—C#的分布式计算简单类图
一、创建Master节点 1)负责集群整体连接认证(Connect方法) 2)负责集群整体节点状态算法代码如下:[ServiceContract(ProtectionLevel = System.Net.Security.ProtectionLevel.None)] public interface IMasterTracker { //原创 2013-10-28 13:00:48 · 4790 阅读 · 0 评论