大数据
大数据相关,记录学习
chenyu Ma
这个作者很懒,什么都没留下…
展开
-
【Hadoop】Hadoop完全分布式搭建(2)安装JDK
(三台机器)1、先建立工作路径mkdir -p /usr/javatar -zxvf /opt/soft/jdk-8u171=linux64.tar.gz -C /usr/java2、修改环境变量cd /usr/javalscd jdk1.8.0_171pwdvi /etc/profile添加内容如下:export JAVA_HOME=/usr/java/jdk1.8.0_171export CLASSPATH=$JAVA_HOME/lib/expoet PATH=$PATH原创 2020-06-28 21:18:23 · 2499 阅读 · 0 评论 -
【Hadoop】Hadoop完全分布式搭建(1)时间同步、ssh免密登录
整理自:红亚大数据竞赛新建三台虚拟机包括一个主节点master和两个从节点slave1和slave21、修改虚拟机名称(三台机器同时执行)切换到root用户su修改名称hostnamectl set-hostname master永久修改主机名vi /etc/sysconfig/network下载相关工具yum install -y net-tools保存该文件 重启虚拟机reboot查看是否生效hostname2、配置host文件(三台机器同时执行)查看虚拟原创 2020-06-28 21:08:45 · 2247 阅读 · 0 评论 -
【Hadoop】Hadoop Shell操作
1.在根目录创建文件夹hadoop fs -mkdir /test2.在test文件夹下创建.txt文件hadoop fs -touchz /test/file.txt3.查看根目录下所有文件hadoop fs -ls /4.递归查看所有文件hadoop fs -ls -R /5.移动文件到其他目录并重命名移动到hadoop根目录下hadoop fs -mv /test/file.txt /file2.txt6.复制文件到其他目录移动到hadoop根目录下hadoop f原创 2020-06-26 20:36:14 · 2524 阅读 · 0 评论 -
【Hive】Hive基本操作
Hive定义了一套自己的SQL,简称HQL,它与关系型数据库的SQL略有不同,但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。1.创建DataBasecreate database if not exists DB;在创建库时,应避免新建的库名与已有库名重复,如果库名重复将会报出以下错误(我在已有DB库的前提下,再次创建了DB库)。2.查看DataBase相关信息describe database DB;3.删除DataBasedrop database i原创 2020-06-25 21:36:39 · 3638 阅读 · 0 评论