- 博客(6)
- 收藏
- 关注
RSS订阅原创 IDEA创建基于Scala语言的Spark Maven项目及WordCount
IDEA创建基于Scala语言的Spark Maven项目及WordCount前提概要须知：使用的 Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12。一、创建Maven项目1.1、下载有 Scala 开发插件[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6PU6Q9AE-1612778300676)(C:\Users\Hannah\AppData\Roaming\Typora\typora-user-images\image-2021020
2021-02-27 14:05:30
320
原创 常用的HBASE操作----(一)---shell
一、实验目的理解HBase在Hadoop体系结构中的角色，熟练使用HBase操作常用的Shell命令，熟悉HBase操作常用的Java API。二、实验设备计算机：CPU四核i7 6700处理器；内存8G； SATA硬盘2TB硬盘； Intel芯片主板；集成声卡、千兆网卡、显卡； 20寸液晶显示器。编译环境：（1）操作系统：Linux （2）Hadoop版本：2.7.2 机器：虚拟机3台 （3）HBase版本：1.6.0（4）Eclipse 4.7三、实验内容3.1依次启动zookeeper、
2020-07-02 15:33:50
454
原创 实现MapReduce程序完成单词统计
一、实验目的理解MapReduce在Hadoop体系结构中的角色，通过该实验后，能设计开发简单的MapReduce程序。二、实验设备计算机：CPU四核i7 6700处理器；内存8G； SATA硬盘2TB硬盘； Intel芯片主板；集成声卡、千兆网卡、显卡； 20寸液晶显示器。编译环境：（1）操作系统：Linux （2）Hadoop版本：2.7.2 机器：虚拟机3台 （3）Eclipse 4.7三、实验内容3.1启动Hadoop服务（1）格式化namenode。（2）启动Hadoop。[r
2020-06-30 16:40:51
6410
原创 Hadoop环境配置eclipse配置Maven HDFS利用JAVA接口实现文件读写
一 、下载解压Maven官网：http://maven.apache.org/download.cgi下载最新版本： 如下截图：1下载以前版本： 如下截图：2二、配置Maven环境变量2.1 下载完解压到自己的文件夹2.2 配置环境变量：在环境变量中添加MAVEN_HOME，路径为你的Maven解压路径在Path中添加 %MAVEN_HOME%/bin三、配置Maven仓库3.1配置阿里云库1 找到你自己的Maven解压的路径2 打开%MAVEN_HOME%/conf 下的se
2020-05-10 17:48:09
556
原创 HDFS常用常用操作 超详细分类笔记
1、-mkdir 在HDFS文件系统上创建目录。首先进入你的hadoop目录下之后在命令行行中输入：当你创建多个文件夹是 使用-p即可[root@hadoop101 hadoop-2.7.2]# hadoop fs -mkdir -p /user/hadoop/testdect2、-ls 显示目录文件信息[root@hadoop101 hadoop-2.7.2]# hadoop fs -ls /user/hadoop/3、-put 上传本地文件到HDFS指定目录。[root@hadoop1
2020-05-10 16:03:09
413
原创 Hadoop集群部署 含网络配置 图文结合
一、实验目的通过该实验后，可以独立安装配置Hadoop集群环境。二、实验环境计算机：CPU四核i7 6700处理器；内存8G； SATA硬盘2TB硬盘； Intel芯片主板；集成声卡、千兆网卡、显卡； 20寸液晶显示器。环境：Windows 10，Centos 7 for Linux等。三、实验内容3.1 基于LINUX-CentOS7系统的主从服务器信息3.2 修改静态IP[ro...
2020-05-08 13:36:57
561
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人