hadoop大数据学习(大数据)
大数据学习笔记,一步一步来吧/摊手
aic1999
这个作者很懒,什么都没留下…
展开
-
Hadoop入门(3)Shell和JAVA的简单演示+代码实现基础云盘功能
目录 一、Shell的使用 二、JAVA api的使用 (一)配置xml文件 (二)简单代码demo(创建、查看、上传、下载) 三、Python的使用 四、参考与推荐 一、Shell的使用 平时的linux指令是针对本地电脑进行的,而HDFS是分布式的,它针对的是通过网络连接的计算机集群,因此在指令上有所区别。 在大部分普通linux指令前加上“hdfs dfs -”即可。 例...原创 2020-03-06 23:28:02 · 604 阅读 · 0 评论 -
Hadoop入门(2)HDFS的核心概念和工作原理
Hadoop Hadoop生态系统 hadoop核心是HDFS(分布式存储系统)+MapReduce(分布式计算框架) Flume(日志收集,常用于推荐系统的数据收集) Sqoop(数据转移,用于两个数据库的数据转移传递) Storm(数据分析,即时计算,不同于hadoop的批量计算) Ambari(简化Hadoop复杂操作的工具) Mapreduce(解决数据计算问题,但...原创 2020-03-06 21:50:17 · 1458 阅读 · 0 评论 -
Hadoop入门(1)安装配置篇(JDK、Hadoop分布式的安装,克隆服务器,SSH免密码登录等)
工具配置 本章目的 介绍了基于Linux的Hadoop安装与配置。 包括虚拟机创建 、Linux系统和JDK安装、 Hadoop安装及Hadoop分布式安装。 还介绍了克隆服务器和SSH免密码登录。 0、提前下载需知 必要的软件:vmware workstation 需要的工具:centos(iso文件)、java jdk(rpm文件) 辅助的软件:xshell、xftp 需要的基...原创 2020-03-04 21:39:16 · 1760 阅读 · 0 评论