大数据学习
peterwadegs
这个作者很懒,什么都没留下…
展开
-
RMI的概念
RMI的概念RMI(Remote Method Invocation)远程方法调用是一种计算机之间利用远程对象互相调用实现双方通讯的一种通讯机制。使用这种机制,某一台计算机上的对象可以调用另外一台计算机上的对象来获取远程数据。RMI是Enterprise JavaBeans的支柱,是建立分布式Java应用程序的方便途径。在过去,TCP/IP套接字通讯是远程通讯的主要手段,但此开发方式没有使转载 2015-10-15 14:59:42 · 543 阅读 · 0 评论 -
大数据第二课:HDFS的简单理解和shell操作
1、HDFS 是做什么的 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来...转载 2018-05-03 20:47:28 · 377 阅读 · 0 评论 -
大数据第三课:Hive的使用
首先要学习Hive,第一步是了解Hive,Hive是基于Hadoop的一个数据仓库,可以将结构化的数据文件映射为一张表,并提供类sql查询功能,Hive底层将sql语句转化为mapreduce任务运行。相对于用java代码编写mapreduce来说,Hive的优势明显:快速开发,人员成本低,可扩展性(自由扩展集群规模),延展性(支持自定义函数)。Hive的构架: Hive提供了三种用户接口:CLI...转载 2018-05-04 10:04:32 · 576 阅读 · 0 评论 -
大数据第一课:搭建Hadoop单机平台
一、环境选择1,服务器选择阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G ip:39.108.77.250 2,配置选择JDK:1.8 (jdk-8u144-linux-x64.tar.gz) Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)3,下载地址http://archive-primary.cloud...转载 2018-04-28 17:02:48 · 263 阅读 · 0 评论