大数据
学而不思则忘
一切都可以
展开
-
CentOS7 下Hadoop 3.2.0的伪分布式配置
准备工作1、虚拟机Linux系统环境(CentOS)这里我用的是VMware® Workstation 15 Pro,Linux系统用的是CentOS7,关于虚拟机下安装CentOS7具体步骤可以自行Google。2、准备jdk环境在虚拟机下配置jdk环境有很多种方法,这里我是直接在CentOS7系统下载了 jdk-8u221-linux-x64.tar.gz3、准备Hadoop安装包...原创 2019-09-04 14:02:57 · 947 阅读 · 0 评论 -
解决运行 Hadoop MapReduce 任务时错误: 找不到或无法加载主类
在运行 WordCount 实例时,出现了一个错误:“错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster”。搜了很久发现要在 mapred-site.xml 文件中添加 mapreduce 程序所用到的 classpath。解决方法:编辑 Hadoop 安装目录下 etc/hadoop/mapred-site.xml 文...原创 2019-09-03 21:18:11 · 8413 阅读 · 4 评论 -
HDFS常用命令——Hadoop
1、列出HDFS目录下的文件的内容——hadoop fs -cat 2、创建HDFS目录——hadoop fs -mkdir创建一个 output 文件夹:[helloworld@localhost hadoop-3.2.0]$ ./bin/hadoop fs -mkdir /output3、创建多级目录——hadoop fs -mkdir -p在 data 目录下再创建一个 wo...原创 2019-09-03 21:08:47 · 383 阅读 · 0 评论 -
运行Hadoop自带的MapReduce WordCount单词统计程序
使用的环境如下:VMware虚拟机下CentOS7hadoop-3.2.0jdk1.8.0_221完成hadoop的伪分布式搭建后,就可以执行hadoop自带的WordCount程序来入门了。先启动hadoop,不然程序时不会成功运行的。一、找到WordCount程序在hadoop安装目录 /home/helloworld/software/hadoop-3.2.0/share...原创 2019-09-03 20:35:51 · 7854 阅读 · 4 评论 -
CentOS7下配置好Hive后检测是否安装成功
一、启动hive前要先启动hadoop:./sbin/start-all.sh二、进入hive后,执行查看函数命令:hive functions;三、查看函数的详细信息:desc function sum;(二、三是简单检测,下面是用例子来检测)四、新建数据库:create database learn;五、使用当前数据库:use learn;六、创建一个数据表:create ...原创 2019-09-20 17:26:47 · 2604 阅读 · 0 评论 -
CentOS7+Hadoop-3.2.0+MySQL5.7安装配置Hive-3.1.2
一、安装环境操作系统:CentOS7Hadoop版本:Hadoop-3.2.0MySQL版本:MySQL5.7在Hive安装之前要先安装好Hadoop,可以参考:https://blog.csdn.net/weixin_43207025/article/details/100536738 或者其他文章。然后MySQL作为Hive的源数据库,也要安装好MySQL,可以参考这篇文章:h...原创 2019-09-20 20:51:27 · 2966 阅读 · 4 评论 -
Hadoop Shell基本操作
一、启动hadoop1、打开终端,进入到hadoop的安装目录的sbin文件夹下,键入命令: ./start-all.sh ,就可以全部打开hadoop:[helloworld@localhost hadoop-3.2.0]$ cd sbin[helloworld@localhost sbin]$ ./start-all.sh除了输入 start-all.sh 以外,还可以分别打开ha...原创 2019-10-08 20:32:38 · 673 阅读 · 0 评论