Hadoop学习
本专栏总结了我在学习Hadoop技术过程中的简单实验以及个人学习总结
Eyeshort
这个作者很懒,什么都没留下…
展开
-
我在CSDN的第一个1024
1024程序员节日历史 2002年,俄罗斯程序员Valentin Balt收集签名,向俄罗斯联邦政府请愿将9月13日设定为程序员节。 2009年9月11日,俄罗斯总统梅德韦杰夫在节日安排方案上签了名,“程序员节”从此成为了俄罗斯的一个正式节日。除了俄罗斯之外,其他国家的一些程序员社区也会庆祝这个节日。为什么会选9月13日呢?因为它是每年的第256天(闰年就是9月12日)。256这个数字...原创 2019-10-24 17:02:53 · 482 阅读 · 0 评论 -
Hadoop集群的基本操作(五:Sqoop的基本操作)
实验 目的 要求 目的: 掌握ETL工具Sqoop的使用; 掌握MySQL和HDFS之间的数据转换; 要求: 掌握ETL工具Sqoop的使用; 能够正常操作数据库、表、数据; ...原创 2019-05-27 08:32:35 · 915 阅读 · 0 评论 -
Hadoop集群的基本操作(四:Hive的基本操作)
实验 目的 要求 目的: (1)掌握数据仓库工具Hive的使用; 要求: 掌握数据仓库Hive的使用; 能够正常操作数据库、表、数据; 实 验 环 ...原创 2019-05-27 08:32:24 · 5069 阅读 · 0 评论 -
Hadoop集群的基本操作(三:HBase的基本操作)
实验 目的 要求 目的: MySQL数据库的基本命令; MySQL数据库中使用SQL语句; MySQL数据库中数据库,表,数据的操作; 要求: 完成MySQL的集群版的安装; MySQL集群的相关服务进程能够正常启动; MySQL集群的SQL服务能够作为系统服务开机自动启动; M...原创 2019-05-27 08:32:07 · 502 阅读 · 1 评论 -
Hadoop集群的基本操作(二:HBase的基本操作)
实验 目的 要求 目的: 1、HBase的基本应用 要求: 完成HBase的高可用完全分布模式的安装; HBase的相关服务进程能够正常的启动; HBase控制台能够正常使用; 表创建、数据查询等数据库操作能够正常进行; ...原创 2019-05-27 08:31:54 · 743 阅读 · 0 评论 -
Hadoop集群的基本操作(一:HDFS操作及MapReduce程序练习)
实验 目的 要求 目的: 理解HDFS在Hadoop体系结构中的角色; 熟练使用HDFS操作常用的Shell命令; 了解Hadoop集群MapReduce程序的简单使用; (上传WordCount的jar执行程序;使用WordCount进行MapReduce计算) 要求: 完成Hadoop的高可用完全分布模...原创 2019-05-27 08:31:43 · 3115 阅读 · 0 评论 -
Hadoop集群搭建(九:各服务的启动)
1、查看Zookeeper服务状态,若集群中只有一个"leader"节点, 其余的均为"follower"节点,则集群的工作状态正常$zkServer.sh status2、在集群中所有主机上使用此命令,启动Zookeeper服务$zkServer.sh start3、在主节点查看java进程信息,若有名为"NameNode"、“ResourceManager”的两个进程,则表示H...原创 2019-05-27 08:31:17 · 376 阅读 · 0 评论 -
Hadoop集群搭建(八:Hive的安装配置)
实验 目的 要求 目的: (1)掌握数据仓库工具Hive的安装和配置; 要求: 完成Hive工具的安装和配置; Hive工具能够正常启动运行; Hive控制台命令能够正常使用; 能够正常操作数据库、表、数据; ...原创 2019-05-27 08:31:03 · 6570 阅读 · 0 评论 -
Hadoop集群搭建(七:MySQL的安装配置)
实验 目的 要求 目的: 1、掌握MySQL在集群平台中的安装 要求: 完成MySQL的集群版的安装; MySQL集群的相关服务进程能够正常启动; MySQL集群的SQL服务能够作为系统服务开机自动启动; MySQL客户端能够远程连接MySQL集群的SQL服务; MySQL集群的SQL...原创 2019-05-27 08:30:48 · 5603 阅读 · 0 评论 -
Hadoop集群搭建(六:HBase的安装配置)
实验 目的 要求 目的: 1、HBase的高可用完全分布模式的安装和验证 要求: 完成HBase的高可用完全分布模式的安装; HBase的相关服务进程能够正常的启动; HBase控制台能够正常使用; 表创建、数据查询等数据库操作能够正常进行; ...原创 2019-05-27 08:30:28 · 2334 阅读 · 0 评论 -
Hadoop集群搭建(五:Hadoop HA集群模式的安装)
实验 目的 要求 目的: 1、Hadoop的高可用完全分布模式的安装和验证 要求: 完成Hadoop的高可用完全分布模式的安装; Hadoop的相关服务进程能够正常的启动; HDFS能够正常的使用; MapReduce示例程序能够正常运行; ...原创 2019-05-26 00:08:05 · 766 阅读 · 0 评论 -
Hadoop集群搭建(四:Zookeeper环境安装)
实验 目的 要求 目的: 1、掌握在完全分布模式的整合平台中Zookeeper的完全分布模式的安装 要求: 完成Zookeeper的完全分布农事的安装; Zookeeper服务能够正常启动和连接; Zookeeper控制台能够正常进入; Zookeeper控制台命令能够正常使用 ...原创 2019-05-26 00:06:39 · 840 阅读 · 1 评论 -
Hadoop集群搭建(二:集群主机间免密登录配置)
实验目的及要求:静态网络地址配置; 主机名的配置; 防火墙的配置,使平台相关软件的常用端口能够远程正常访问; 主机地址映射的配置,使所有主机能够通过主机名相互正常访问; 免密码登录的配置,使所有主节点能够免密码登录集群中所有其他节点,多个主节点之间能够相互免密码登录到对方,同事主节点能够免密码登录自身;实验环境:VMware Workstations 14虚拟机; Linux ...原创 2019-05-26 00:05:40 · 2808 阅读 · 0 评论 -
Hadoop集群搭建(一:集群安装及网络环境配置)
实验目的及要求完成VMware workstations安装,会应用相关操作; 完成虚拟机中Linux CentOS 7操作系统安装; 完成静态网络地址的配置,所有主机的网络能够正常使用,相互之间能够正常连接; 完成主机名配置,正确设定永久有效的主机名;实验环境:VMware Workstations 14虚拟机 Linux CentOS 7操作系统实验内容:1、安装VMw...原创 2019-05-26 00:04:59 · 1873 阅读 · 1 评论 -
Hive的基本应用
实验 目的 要求 目的: 了解Hive架构,掌握Hive环境部署; 了解Hive与Hadoop及传统关系型数据库的对比; 掌握Hive中DDL和DML的使用; 了解Hive高级应用; Hive内置函数使用及Hive自定义函数; 了解Hive常用优化策略; ...原创 2019-05-28 08:06:09 · 360 阅读 · 0 评论 -
HBASE_API的应用
实验 目的 要求 目的: 掌握HBase编程; 搭建HBase编程环境; 配置Myeclipse引入对应的jar包; 实 验 环 境 Java ...原创 2019-05-28 08:05:17 · 180 阅读 · 0 评论 -
Hadoop_MapReduce的基本应用
实验 目的 要求 目的: 了解MapReduce 掌握MapReduce编程模型 掌握MapReduce常见核心API编程 MapReduce开发常用功能 实 验 环 境 Java jdk 1.8; apache-maven...原创 2019-05-28 08:04:59 · 411 阅读 · 0 评论 -
HDFS_API基本应用
实验 目的 要求 目的: 了解HDFS文件系统; 掌握HDFS的架构及核心组件的职能; 掌握HDFS数据的读写操作; HDFS常用操作(Shell。Java API) 了解Hadoop2.0中HDFS相关的新特性 实 验 环 境 ...原创 2019-05-28 08:04:32 · 659 阅读 · 0 评论