thesuntear的专栏

https://www.cnblogs.com/qingyunzong/p/8710356.htmlhive常用DDL+命令一、常用DDL1.查看数据库2.创建库最基础的创建库创建库标准写法创建库指定hdfs路径3.创建表4.查看数据库结构5.添加额外的描述信息6.查询使用通配符 * 的表7. 删除库删除空库删除非空库删除非空库标准写法8.创建表管理表外部表查看表结构导入数据二、hive 命令不登录hive客户端直接输入命令操作直接把sql写入到文件中查看hdfs文件查看历史操作一、常用DDL以下代码

本文主要记录hive安装的过程，因为hive默认的是derby进行存储元数据，为方便多客户端开启，更换使用mysql进行存储元数据，则涉及到内容：hive的安装，mysql的安装，mysql用户名密码更改。一、 hive安装1、下载hive安装包（下载的是1.x版本，该版本用的是mapreduce。2.x用的是spark）官网下载最新的1.x安装包https://mirror.bit.edu.cn/apache/hive/hive-1.2.2/2、上传解压[root@bigdata121 sof

集群模式zookeeper的安装1、安装包下载下载路径：https://downloads.apache.org/zookeeper/zookeeper-3.5.8/下载带有bin的tar.gz包（该版本不带bin的是源码）2、上传到服务器解压[root@bigdata121 ~]# tar -zxvf apache-zookeeper-3.5.8.tar.gz -C /opt/module/3、创建文件存放目录，修改配置文件创建文件存放目录，目录建在apache-zookeeper-3.5

mapreduce常用压缩编码压缩格式是否需要安装文件拓展名是否可以切分性能使用率DEFAULT无需安装，直接使用.deflate否bzip2无需安装.bz2是Gzip无需安装.gz否压缩率比较高，且压缩解压缩速度很快。linux中自带gzip命令，使用方便。由于不支持切分（split），使用时需要每个文件压缩后大小在128M（可以灵活去设置快文件大小）以内LZO需要安装.lzo是压缩解压缩速度比较快，并且压缩率比较合理。

hdfs的日志文件：tmp/name/current下面查看日志信息，使用Hadoop的自己的命令（因为是二进制文件)1)edit操作日志文件hdfs oev -i (edit文件名）-o /root/a.xml(这个是转化成的文件具体路径）2)元信息文件hdfs oiv -i fsimage(元信息文件名）-o 转化的路径 -p XML转化成功后都可以通过cat 进行查看...

大数据常用软件电脑最好16G内存，8G也可以用。5台虚拟机消耗较大，一般不用同时启动5台，但是毕竟消耗较大。一般同时启动3台。操作系统RedHat 7.4 64位VMware Workstatio:14(12)5台虚拟机|IP |主机名（hostname）|安装组件（角色）-------- | ----- | ----- |10.1.255.121 | bigdata121|如：nameNode10.1.255.122 | bigdata122|分布式是一种

配备hadoop环境1、安装linux系统 网关选择的是NAT模式2、修改IP（设置固定ip，能够访问外网） 2.1）vi /etc/sysconfig/network-scripts/ifcfg-ens33 （打开文件进入编辑） 2.2)#点击按键i，进行编辑。添加配置信息 BOOTPROTO=static #正常情况下这个设置为静...