![](https://img-blog.csdnimg.cn/20200630164645704.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 77
bigdata
Hannah~7
梨子不丧 积极向上
展开
-
IDEA创建基于Scala语言的Spark Maven项目及WordCount
IDEA创建基于Scala语言的Spark Maven项目及WordCount前提概要须知:使用的 Spark 版本为 3.0.0,默认采用的 Scala 编译版本为 2.12。一、创建Maven项目1.1、下载有 Scala 开发插件[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6PU6Q9AE-1612778300676)(C:\Users\Hannah\AppData\Roaming\Typora\typora-user-images\image-2021020原创 2021-02-27 14:05:30 · 325 阅读 · 0 评论 -
常用的HBASE操作----(一)---shell
一、实验目的理解HBase在Hadoop体系结构中的角色,熟练使用HBase操作常用的Shell命令,熟悉HBase操作常用的Java API。二、实验设备计算机:CPU四核i7 6700处理器;内存8G; SATA硬盘2TB硬盘; Intel芯片主板;集成声卡、千兆网卡、显卡; 20寸液晶显示器。编译环境:(1)操作系统:Linux (2)Hadoop版本:2.7.2 机器:虚拟机3台 (3)HBase版本:1.6.0(4)Eclipse 4.7三、实验内容3.1依次启动zookeeper、原创 2020-07-02 15:33:50 · 462 阅读 · 0 评论 -
实现MapReduce程序完成单词统计
一、实验目的理解MapReduce在Hadoop体系结构中的角色,通过该实验后,能设计开发简单的MapReduce程序。二、实验设备计算机:CPU四核i7 6700处理器;内存8G; SATA硬盘2TB硬盘; Intel芯片主板;集成声卡、千兆网卡、显卡; 20寸液晶显示器。编译环境:(1)操作系统:Linux (2)Hadoop版本:2.7.2 机器:虚拟机3台 (3)Eclipse 4.7三、实验内容3.1启动Hadoop服务(1)格式化namenode。(2)启动Hadoop。[r原创 2020-06-30 16:40:51 · 6481 阅读 · 0 评论 -
Hadoop环境配置eclipse配置Maven HDFS利用JAVA接口实现文件读写
一 、下载解压Maven官网:http://maven.apache.org/download.cgi下载最新版本: 如下截图:1下载以前版本: 如下截图:2二、配置Maven环境变量2.1 下载完解压到自己的文件夹2.2 配置环境变量:在环境变量中添加MAVEN_HOME,路径为你的Maven解压路径在Path中添加 %MAVEN_HOME%/bin三、配置Maven仓库3.1配置阿里云库1 找到你自己的Maven解压的路径2 打开%MAVEN_HOME%/conf 下的se原创 2020-05-10 17:48:09 · 566 阅读 · 0 评论 -
HDFS常用常用操作 超详细分类笔记
1、-mkdir 在HDFS文件系统上创建目录。首先进入你的hadoop目录下之后在命令行行中输入:当你创建多个文件夹是 使用-p即可[root@hadoop101 hadoop-2.7.2]# hadoop fs -mkdir -p /user/hadoop/testdect2、-ls 显示目录文件信息[root@hadoop101 hadoop-2.7.2]# hadoop fs -ls /user/hadoop/3、-put 上传本地文件到HDFS指定目录。[root@hadoop1原创 2020-05-10 16:03:09 · 417 阅读 · 0 评论 -
Hadoop集群部署 含网络配置 图文结合
一、实验目的通过该实验后,可以独立安装配置Hadoop集群环境。二、实验环境计算机:CPU四核i7 6700处理器;内存8G; SATA硬盘2TB硬盘; Intel芯片主板;集成声卡、千兆网卡、显卡; 20寸液晶显示器。环境:Windows 10,Centos 7 for Linux等。三、实验内容3.1 基于LINUX-CentOS7系统的主从服务器信息3.2 修改静态IP[ro...原创 2020-05-08 13:36:57 · 570 阅读 · 0 评论