![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
学习hadoop组件
Lawrence_121
千里之行,始于足下
展开
-
sqoop安装和基本操作
目录1、简介2、安装3. sqoop导入hdfs注意(Hadoop集群搭建好)1、简介sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;导出数据:从Hadoop的文件系统中导出数据到关系数据库2、安装...原创 2019-12-21 17:26:46 · 486 阅读 · 0 评论 -
IDEA配置hadoop开发环境及操作HDFS演示
hadoop基础环境搭建请看上篇(非高可用)IDEA Maven配置1. 下载maven下载地址从官网上,下载一个压缩包,然后解压到任意的文件夹Maven的安装必须需要jdk1.7+2. 环境变量设置M2_HOME改为具体的路径,其他的就直接复制就好M2_HOME=D:\maven\apache-maven-3.6.3-bin\apache-maven...原创 2019-12-14 10:18:15 · 1615 阅读 · 0 评论 -
Hadoop集群搭建(一)
目录一.使用VMvare创建三个虚拟机,我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙二.安装jdk(所有虚拟机都要安装配置)三.安装SSH服务四、建立ssh无密码登录本机六:最后用自带的样例测试hadoop集群能不能正常跑任务注意:需要的安装包: 1.jdk压缩包 2.hadoop压缩包请前往百度云上上下载相关安装包(密码:8...转载 2019-12-07 18:49:34 · 352 阅读 · 0 评论 -
用通俗易懂的话说下hadoop是什么,能做什么
1、hadoop是什么?(1)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS(文件系统,数据存储技术相关)+ Mapreduce(数据处理),Hadoop的数据来源可以是任何形式,在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能,具有更灵活的处理能力,...转载 2019-11-16 11:01:51 · 235 阅读 · 0 评论 -
Zookeeper入门篇
Zookeeper是什么官方文档上这么解释zookeeper,它是一个分布式服务框架,是Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。上面的解释有点抽象,简单来说zookeeper=文件系统+监听通知机制。1、 文件系统Zookeeper维护一个类似文件系统的数据结构:...转载 2019-11-16 10:28:57 · 118 阅读 · 0 评论