大数据学习记录
文章平均质量分 63
thesuntear
勇于追求!
展开
-
大数据学习——hive常用DDL+命令
https://www.cnblogs.com/qingyunzong/p/8710356.htmlhive常用DDL+命令一、常用DDL1.查看数据库2.创建库最基础的创建库创建库标准写法创建库指定hdfs路径3.创建表4.查看数据库结构5.添加额外的描述信息6.查询使用通配符 * 的表7. 删除库删除空库删除非空库删除非空库标准写法8.创建表管理表外部表查看表结构导入数据二、hive 命令不登录hive客户端直接输入命令操作直接把sql写入到文件中查看hdfs文件查看历史操作一、常用DDL以下代码原创 2020-08-27 23:36:32 · 160 阅读 · 0 评论 -
大数据学习——hive安装
本文主要记录hive安装的过程,因为hive默认的是derby进行存储元数据,为方便多客户端开启,更换使用mysql进行存储元数据,则涉及到内容:hive的安装,mysql的安装,mysql用户名密码更改。一、 hive安装1、下载hive安装包(下载的是1.x版本,该版本用的是mapreduce。2.x用的是spark)官网下载最新的1.x安装包https://mirror.bit.edu.cn/apache/hive/hive-1.2.2/2、上传解压[root@bigdata121 sof原创 2020-08-26 21:32:01 · 198 阅读 · 0 评论 -
大数据学习——zookeeper安装
集群模式zookeeper的安装1、安装包下载下载路径:https://downloads.apache.org/zookeeper/zookeeper-3.5.8/下载带有bin的tar.gz包(该版本不带bin的是源码)2、上传到服务器解压[root@bigdata121 ~]# tar -zxvf apache-zookeeper-3.5.8.tar.gz -C /opt/module/3、创建文件存放目录,修改配置文件创建文件存放目录,目录建在apache-zookeeper-3.5原创 2020-08-25 20:11:59 · 97 阅读 · 0 评论 -
大数据学习——mapreduce数据压缩(五)
mapreduce常用压缩编码压缩格式是否需要安装文件拓展名是否可以切分性能使用率DEFAULT无需安装,直接使用.deflate否bzip2无需安装.bz2是Gzip无需安装.gz否压缩率比较高,且压缩解压缩速度很快。linux中自带gzip命令,使用方便。由于不支持切分(split),使用时需要每个文件压缩后大小在128M(可以灵活去设置快文件大小)以内LZO需要安装.lzo是压缩解压缩速度比较快,并且压缩率比较合理。原创 2020-08-21 15:55:33 · 167 阅读 · 0 评论 -
大数据学习——基础了解(一)
大数据常用软件电脑最好16G内存,8G也可以用。5台虚拟机消耗较大,一般不用同时启动5台,但是毕竟消耗较大。一般同时启动3台。操作系统RedHat 7.4 64位VMware Workstatio:14(12)5台虚拟机|IP |主机名(hostname)|安装组件(角色)-------- | ----- | ----- |10.1.255.121 | bigdata121|如:nameNode10.1.255.122 | bigdata122|分布式是一种原创 2020-07-10 21:41:19 · 442 阅读 · 0 评论 -
大数据学习——hadoop从零到有(二)
配备hadoop环境1、安装linux系统 网关选择的是NAT模式2、修改IP(设置固定ip,能够访问外网) 2.1)vi /etc/sysconfig/network-scripts/ifcfg-ens33 (打开文件进入编辑) 2.2)#点击按键i,进行编辑。添加配置信息 BOOTPROTO=static #正常情况下这个设置为静...原创 2019-01-15 17:02:52 · 182 阅读 · 0 评论