hadoop
chenwen_201116040110
本人热爱软件事业,对IT领域的软件开发工作有浓厚的兴趣,能承受较大的工作压力; 具有很强的团队精神,有良好的组织、协调和沟通能力,有强烈的集体荣誉感; 自学能力强,喜欢钻研新技术,敢于面对和克服困难;
1.精通使用C/C++语言下的编程开发,能熟练C/C++使用的STL库函数,并能熟练使用eclipse,codeblock,dev-cpp,vc,vs等多种开发工具,并用C++开发了大学排课系统。
2.精通并能够很好的使用数据结构和算法,有过3年ACM的训练经历。
3.熟练使用linux平台下的基本命令,能够使用python,shell,javascript等多种脚本语言。
4.熟练使用sql语句,有过JDBC连接sqlserver和mysql的经验,有过java+jsp+html+css+javascript+sqlserver小应用程序的开发经验。
展开
-
分布式计算框架Hadoop
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统(Hadoop Distributed File System)的缩写,为分布式计算存储提供了底层支持。采用Java语言开发,可以部署在多种普通的廉价机器上,以集群处理数量积达到大型主机转载 2014-11-26 08:54:42 · 622 阅读 · 0 评论 -
分布式计算开源框架Hadoop介绍
── 分布式计算开源框架Hadoop入门实践(一) 在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数器,结合MySQL就完成了访问控制以及统计的工作。然而未来,对转载 2014-11-20 14:03:27 · 639 阅读 · 0 评论 -
Hadoop中的集群配置和使用技巧
── 分布式计算开源框架Hadoop入门实践(二) 其实参看Hadoop官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。Hadoop可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照Demo的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。 环境 7台普转载 2014-11-20 14:04:49 · 557 阅读 · 0 评论 -
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
最近一直在自学Hadoop,今天花点时间搭建一个开发环境,并整理成文。 首先要了解一下Hadoop的运行模式: 单机模式(standalone) 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时,Hadoop会完全运行在本地。因为不需要转载 2014-11-25 17:48:30 · 456 阅读 · 0 评论