大数据技术
Eyeshort
这个作者很懒,什么都没留下…
展开
-
Hadoop集群搭建(一:集群安装及网络环境配置)
实验目的及要求完成VMware workstations安装,会应用相关操作; 完成虚拟机中Linux CentOS 7操作系统安装; 完成静态网络地址的配置,所有主机的网络能够正常使用,相互之间能够正常连接; 完成主机名配置,正确设定永久有效的主机名;实验环境:VMware Workstations 14虚拟机 Linux CentOS 7操作系统实验内容:1、安装VMw...原创 2019-05-26 00:04:59 · 1887 阅读 · 1 评论 -
Hadoop集群的基本操作(五:Sqoop的基本操作)
实验 目的 要求 目的: 掌握ETL工具Sqoop的使用; 掌握MySQL和HDFS之间的数据转换; 要求: 掌握ETL工具Sqoop的使用; 能够正常操作数据库、表、数据; ...原创 2019-05-27 08:32:35 · 934 阅读 · 0 评论 -
Oracle的基本操作(一:子查询与常用函数)
1、描述TO_CHAR和TO_DATE函数的用法。 TO_CHAR(d|n[,fmt]):把日期和数字转换为指定格式(fmt)的字符串;TO_DATE(x[,fmt]):把一个字符串一fmt格式转换为一个日期类型;举例:select to_char(sysdate,'yyyy-mm-dd') "char",to_date('2018-09-28','yyyy-mm-...原创 2019-05-27 22:42:01 · 546 阅读 · 0 评论 -
Oracle的基本操作(二:存储过程)
1、编写一个存储过程,根据输入的工作类型,输入该工作的平均工资。-- Created on 2018/9/30 by YANXUKUNcreate or replace procedure avgsal(v_job in scott.emp.job%type)isavgsal2 number;begin select avg(sal) into avgsal2 f...原创 2019-05-28 08:03:49 · 2639 阅读 · 0 评论 -
MongoDB数据库(一:基本操作)
1、创建名称为自己姓名拼音缩写的数据库;2、创建名为姓名拼音缩写+col的集合,如dugncol;3、删除2中的集合,重新创建格式如dugncolnew的集合;4、在3创建的集合中,插入10条文档数据,要求分别插入到class为“计算机161”和“计算机162”中,其他字段如下图所示;5、将3中集合中所有age为6的数据修改为age为21;6、将...原创 2019-05-28 08:04:04 · 2756 阅读 · 0 评论 -
MongoDB数据库(二:高级操作)
练习一、完成使用Java代码连接MOngoDB,创建集合,获取集合,插入文档,检 索所有文档,更新文档,删除第一个文档。a)连接MOngoDBb)创建集合c)获取集合d)插入文档e)检索所有文档f)更新文档g)删除第一个文档练习二:在test数据库下创建address_home文档,结构如下图;在自己用户忙缩写数据库下创建userco...原创 2019-05-28 08:04:18 · 261 阅读 · 0 评论 -
HDFS_API基本应用
实验 目的 要求 目的: 了解HDFS文件系统; 掌握HDFS的架构及核心组件的职能; 掌握HDFS数据的读写操作; HDFS常用操作(Shell。Java API) 了解Hadoop2.0中HDFS相关的新特性 实 验 环 境 ...原创 2019-05-28 08:04:32 · 681 阅读 · 0 评论 -
Hadoop_MapReduce的基本应用
实验 目的 要求 目的: 了解MapReduce 掌握MapReduce编程模型 掌握MapReduce常见核心API编程 MapReduce开发常用功能 实 验 环 境 Java jdk 1.8; apache-maven...原创 2019-05-28 08:04:59 · 426 阅读 · 0 评论 -
HBASE_API的应用
实验 目的 要求 目的: 掌握HBase编程; 搭建HBase编程环境; 配置Myeclipse引入对应的jar包; 实 验 环 境 Java ...原创 2019-05-28 08:05:17 · 182 阅读 · 0 评论 -
Hive的基本应用
实验 目的 要求 目的: 了解Hive架构,掌握Hive环境部署; 了解Hive与Hadoop及传统关系型数据库的对比; 掌握Hive中DDL和DML的使用; 了解Hive高级应用; Hive内置函数使用及Hive自定义函数; 了解Hive常用优化策略; ...原创 2019-05-28 08:06:09 · 373 阅读 · 0 评论 -
Sqoop的基础应用
实验目的要求了解ET了工具Sqoop; 学会安装配置Sqoop; 学会使用数据迁移框架Sqoop; 使用Sqoop导入MySQL到HDFS和Hive; 使用Sqoop导出HDFS数据到MySQL;实验环境Java jdk 1.7; apache-maven-3.6.0; Myeclipse C10; CDH Hadoop集群; 已配置MySQL数据库; 已配置Sqoop...原创 2019-06-18 08:36:51 · 254 阅读 · 0 评论 -
Hadoop集群的基本操作(四:Hive的基本操作)
实验 目的 要求 目的: (1)掌握数据仓库工具Hive的使用; 要求: 掌握数据仓库Hive的使用; 能够正常操作数据库、表、数据; 实 验 环 ...原创 2019-05-27 08:32:24 · 5085 阅读 · 0 评论 -
Hadoop集群的基本操作(三:HBase的基本操作)
实验 目的 要求 目的: MySQL数据库的基本命令; MySQL数据库中使用SQL语句; MySQL数据库中数据库,表,数据的操作; 要求: 完成MySQL的集群版的安装; MySQL集群的相关服务进程能够正常启动; MySQL集群的SQL服务能够作为系统服务开机自动启动; M...原创 2019-05-27 08:32:07 · 523 阅读 · 1 评论 -
Hadoop集群搭建(二:集群主机间免密登录配置)
实验目的及要求:静态网络地址配置; 主机名的配置; 防火墙的配置,使平台相关软件的常用端口能够远程正常访问; 主机地址映射的配置,使所有主机能够通过主机名相互正常访问; 免密码登录的配置,使所有主节点能够免密码登录集群中所有其他节点,多个主节点之间能够相互免密码登录到对方,同事主节点能够免密码登录自身;实验环境:VMware Workstations 14虚拟机; Linux ...原创 2019-05-26 00:05:40 · 2847 阅读 · 0 评论 -
Hadoop集群搭建(四:Zookeeper环境安装)
实验 目的 要求 目的: 1、掌握在完全分布模式的整合平台中Zookeeper的完全分布模式的安装 要求: 完成Zookeeper的完全分布农事的安装; Zookeeper服务能够正常启动和连接; Zookeeper控制台能够正常进入; Zookeeper控制台命令能够正常使用 ...原创 2019-05-26 00:06:39 · 845 阅读 · 1 评论 -
Hadoop集群搭建(五:Hadoop HA集群模式的安装)
实验 目的 要求 目的: 1、Hadoop的高可用完全分布模式的安装和验证 要求: 完成Hadoop的高可用完全分布模式的安装; Hadoop的相关服务进程能够正常的启动; HDFS能够正常的使用; MapReduce示例程序能够正常运行; ...原创 2019-05-26 00:08:05 · 775 阅读 · 0 评论 -
Hadoop集群搭建(六:HBase的安装配置)
实验 目的 要求 目的: 1、HBase的高可用完全分布模式的安装和验证 要求: 完成HBase的高可用完全分布模式的安装; HBase的相关服务进程能够正常的启动; HBase控制台能够正常使用; 表创建、数据查询等数据库操作能够正常进行; ...原创 2019-05-27 08:30:28 · 2342 阅读 · 0 评论 -
Hadoop集群搭建(七:MySQL的安装配置)
实验 目的 要求 目的: 1、掌握MySQL在集群平台中的安装 要求: 完成MySQL的集群版的安装; MySQL集群的相关服务进程能够正常启动; MySQL集群的SQL服务能够作为系统服务开机自动启动; MySQL客户端能够远程连接MySQL集群的SQL服务; MySQL集群的SQL...原创 2019-05-27 08:30:48 · 5662 阅读 · 0 评论 -
Hadoop集群搭建(八:Hive的安装配置)
实验 目的 要求 目的: (1)掌握数据仓库工具Hive的安装和配置; 要求: 完成Hive工具的安装和配置; Hive工具能够正常启动运行; Hive控制台命令能够正常使用; 能够正常操作数据库、表、数据; ...原创 2019-05-27 08:31:03 · 6589 阅读 · 0 评论 -
Hadoop集群搭建(九:各服务的启动)
1、查看Zookeeper服务状态,若集群中只有一个"leader"节点, 其余的均为"follower"节点,则集群的工作状态正常$zkServer.sh status2、在集群中所有主机上使用此命令,启动Zookeeper服务$zkServer.sh start3、在主节点查看java进程信息,若有名为"NameNode"、“ResourceManager”的两个进程,则表示H...原创 2019-05-27 08:31:17 · 380 阅读 · 0 评论 -
Hadoop集群的基本操作(一:HDFS操作及MapReduce程序练习)
实验 目的 要求 目的: 理解HDFS在Hadoop体系结构中的角色; 熟练使用HDFS操作常用的Shell命令; 了解Hadoop集群MapReduce程序的简单使用; (上传WordCount的jar执行程序;使用WordCount进行MapReduce计算) 要求: 完成Hadoop的高可用完全分布模...原创 2019-05-27 08:31:43 · 3133 阅读 · 0 评论 -
Hadoop集群的基本操作(二:HBase的基本操作)
实验 目的 要求 目的: 1、HBase的基本应用 要求: 完成HBase的高可用完全分布模式的安装; HBase的相关服务进程能够正常的启动; HBase控制台能够正常使用; 表创建、数据查询等数据库操作能够正常进行; ...原创 2019-05-27 08:31:54 · 749 阅读 · 0 评论 -
Spark的基础应用
目的要求搭建Spark集群环境; Spark集群的启动、浏览与关闭; 使用Eclipse编写Spark应用程序包; 如何运行Spark任务;实验环境Java jdk 1.7; apache-maven-3.6.0; Eclipse; Apache_Hadoop集群; 安装配置Spark 具体规划: 主机名 IP地址 服务...原创 2019-06-18 08:44:50 · 287 阅读 · 0 评论