- 博客(8)
- 收藏
- 关注
RSS订阅原创 Sqoop数据迁移
一、什么是Sqoop?二、从RDB导入数据到HDFS-1三、安装教程1.下载2.将压缩包塞到虚拟机里面3.解压tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz 4.移动5.进入到conf文件6.复制sqoop-env-template.sh 文件叫sqoop-env.shcp sqoop-env-template.sh sqoop-env.sh7.修改文件8. 进入到lib目录（/opt/soft...
2022-04-07 13:45:38
2051
原创 Hive基础
一、学习目标了解Hive的作用和又是能够进行Hive的环境搭建熟悉Hive的客户端操作掌握Hive数据类型掌握Hive的数据库和表操作掌握Hive的数据分区理解Hive的数据分桶了解Hive的视图（view）二、什么是Hive？基于Hadoop的数据仓库解决方案数据仓库和数据库的区别将结构化的数据文件映射为数据库表提供类sql的查询语句HQL（Hive Query Language）Hive让更多的人使用HadoopHive成为Apache顶级项目
2022-03-29 15:50:57
2491
原创 分布式应用协调服务Zookeeper
一、学习目标了解zookeeper架构及角色了解zookeeper数据结构理解zookeeper内部原理会使用zookeeper实现高可用集群二、zookeeper简介zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目zookeeper=文件系统+通知机制(1) Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架。它负责存储和管理大家都关心的数据，然后接受观察者的注册。(2) 一旦数据的状态发生变化,Zook
2022-03-28 21:48:54
3237
原创 分布式计算模型MapReduce
一、学习目标理解MapReduce设计思想熟练掌握MapReduce分布式计算的基本原理掌握使用java进行MapReduce编程掌握在Hadoop集群中提交MapReduce任务
2022-03-24 17:57:51
2077
原创 文件分布式系统HDFS
一、学习目标1.Hadoop 运行环境搭建2.掌握HDFS基本文件操作命令3.掌握用java实现HDFS文件读写二、HDFS机制1.HDFS副本机制命令：(1)创建文件夹hdfs dfs -mkdir /demo（2）传一个文件到hedoop里面的demo文件夹里面去hdfs dfs -put 文件名 /路径/新文件名（新文件名可不写）（3）删除一个文件（注意文件不能覆盖，只能删除之后再上传）hdfs dfs -rm -f...
2022-03-23 18:08:39
1541
1原创 虚拟机安装配置教程
虚拟机安装配置教程创建linux虚拟机步骤1.点击创建新的虚拟机2.点击下一步3.选择安装程序光盘映像文件映像文件分为两种：第一个minimal版本是无可视化版本，第二个dvd版本有可视化版本。这里选择minimal版本。4.选择安装位置5.选择单文件6.自定义硬件设置设置内存处理器和网络连接方式（net连接方式）（想要了解请看陈明的课1）7.设置语言–一定要选择英语也就是啥也不动8.设置时区点done退出。9.设置硬盘点有红字的地方随便用的话
2022-02-21 22:28:41
7293
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人