大数据
文章平均质量分 79
尚能饭否
这个作者很懒,什么都没留下…
展开
-
云计算初识
1 云计算简述云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比喻说法。过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。因此,云计算甚至可以让你体验每秒10万亿次的运算能力,拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。用户通过电脑、原创 2016-01-07 14:07:13 · 372 阅读 · 0 评论 -
Linux开发环境复习
熟悉Linux开发环境一、Linux简介1 Linux概述Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。2 Linux基本思想原创 2016-01-08 18:06:11 · 533 阅读 · 0 评论 -
HDFS原理、命令行接口和Java接口
1 HDFS的设计目标我们都知道,Hadoop是一种用来进行海量数据存储和计算的分布式系统基础架构,它具有高效、低成本、高可靠(容错)及高扩展(可伸缩)等优点。HDFS作为Hadoop的核心之一,原创 2016-04-27 09:52:32 · 4753 阅读 · 0 评论 -
RPC和HDFS文件读写(下载上传)过程
1 RPCRPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式。请求程序就是一个客原创 2016-04-27 09:53:01 · 3448 阅读 · 0 评论 -
HBase的Java接口基本操作:创建表插入查询删除
package captain.hbase;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hba原创 2016-04-27 09:53:54 · 1515 阅读 · 0 评论 -
论坛日志分析:Flume+MapReduce+Hive+Sqoop+MySQL
(1)使用Flume-ng的spooldir类型的source来监听Linux文件系统上的一个目录,使用hdfs类型的sink将日志收集到hdfs上。这个flume-ng的agent配置文件a4.conf的内容如下。#定义agent名, source、channel、sink的名称a4.sources = r1a4.channels = c1a4.sinks = k1#具体定义sou原创 2016-04-27 09:54:11 · 1909 阅读 · 0 评论 -
MapReduce原理和程序
1 MapReduce原理图2 WordCount程序package captain.hadoop.mr;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.原创 2016-04-27 09:53:35 · 425 阅读 · 0 评论