大数据
文章平均质量分 77
bigdata
Hannah~7
梨子不丧 积极向上
展开
-
IDEA创建基于Scala语言的Spark Maven项目及WordCount
IDEA创建基于Scala语言的Spark Maven项目及WordCount 前提概要须知:使用的 Spark 版本为 3.0.0,默认采用的 Scala 编译版本为 2.12。 一、创建Maven项目 1.1、下载有 Scala 开发插件 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6PU6Q9AE-1612778300676)(C:\Users\Hannah\AppData\Roaming\Typora\typora-user-images\image-2021020原创 2021-02-27 14:05:30 · 349 阅读 · 0 评论 -
常用的HBASE操作----(一)---shell
一、实验目的 理解HBase在Hadoop体系结构中的角色,熟练使用HBase操作常用的Shell命令,熟悉HBase操作常用的Java API。 二、实验设备 计算机:CPU四核i7 6700处理器;内存8G; SATA硬盘2TB硬盘; Intel芯片主板;集成声卡、千兆网卡、显卡; 20寸液晶显示器。 编译环境:(1)操作系统:Linux (2)Hadoop版本:2.7.2 机器:虚拟机3台 (3)HBase版本:1.6.0(4)Eclipse 4.7 三、实验内容 3.1依次启动zookeeper、原创 2020-07-02 15:33:50 · 465 阅读 · 0 评论 -
实现MapReduce程序完成单词统计
一、实验目的 理解MapReduce在Hadoop体系结构中的角色,通过该实验后,能设计开发简单的MapReduce程序。 二、实验设备 计算机:CPU四核i7 6700处理器;内存8G; SATA硬盘2TB硬盘; Intel芯片主板;集成声卡、千兆网卡、显卡; 20寸液晶显示器。 编译环境:(1)操作系统:Linux (2)Hadoop版本:2.7.2 机器:虚拟机3台 (3)Eclipse 4.7 三、实验内容 3.1启动Hadoop服务 (1)格式化namenode。 (2)启动Hadoop。 [r原创 2020-06-30 16:40:51 · 6535 阅读 · 0 评论 -
Hadoop环境配置eclipse配置Maven HDFS利用JAVA接口实现文件读写
一 、下载解压Maven 官网:http://maven.apache.org/download.cgi 下载最新版本: 如下截图:1 下载以前版本: 如下截图:2 二、配置Maven环境变量 2.1 下载完解压到自己的文件夹 2.2 配置环境变量: 在环境变量中添加MAVEN_HOME,路径为你的Maven解压路径 在Path中添加 %MAVEN_HOME%/bin 三、配置Maven仓库 3.1配置阿里云库 1 找到你自己的Maven解压的路径 2 打开%MAVEN_HOME%/conf 下的se原创 2020-05-10 17:48:09 · 576 阅读 · 0 评论 -
HDFS常用常用操作 超详细分类笔记
1、-mkdir 在HDFS文件系统上创建目录。 首先进入你的hadoop目录下 之后在命令行行中输入: 当你创建多个文件夹是 使用-p即可 [root@hadoop101 hadoop-2.7.2]# hadoop fs -mkdir -p /user/hadoop/testdect 2、-ls 显示目录文件信息 [root@hadoop101 hadoop-2.7.2]# hadoop fs -ls /user/hadoop/ 3、-put 上传本地文件到HDFS指定目录。 [root@hadoop1原创 2020-05-10 16:03:09 · 438 阅读 · 0 评论 -
Hadoop集群部署 含网络配置 图文结合
一、实验目的 通过该实验后,可以独立安装配置Hadoop集群环境。 二、实验环境 计算机:CPU四核i7 6700处理器;内存8G; SATA硬盘2TB硬盘; Intel芯片主板;集成声卡、千兆网卡、显卡; 20寸液晶显示器。环境:Windows 10,Centos 7 for Linux等。 三、实验内容 3.1 基于LINUX-CentOS7系统的主从服务器信息 3.2 修改静态IP [ro...原创 2020-05-08 13:36:57 · 581 阅读 · 0 评论