大数据
VanChaoi
钓鱼要到岛上钓,不到岛上钓不到.
展开
-
Python--大数据03
一、修改主机名和映射1.切换root用户,修改需要权限2.修改主机名 vi /etc/hostname保存退出3.修改主机映射 vi /etc/hosts保存退出4.重启5.修改window下的映射在桌面打开这个文件(记事本),输入以下内容,记住一定输入你配置的静态ip,保存关闭将桌面的文件拖到原来的文件夹中选择替换以管理...原创 2018-07-28 18:22:30 · 765 阅读 · 0 评论 -
Python--大数据
一、虚拟机1.安装完成之后,进入虚拟机,进行编辑虚拟机配置2.登录系统管理员,输入密码时是不会显示的,直接输完按回车进入对虚拟机的IP进行修改获取虚拟机的ip[centos7版本下可以使用ip a;低版本需使用ifconfig]注:我是在VirtualBox上装的CentOS 7 Minimal,网上搜了一下原因,可能是CentOS 7的最小化安装少了一些工具,比如 i...原创 2018-07-25 22:19:34 · 2118 阅读 · 0 评论 -
Python--大数据02
一、Xshell创建用户和文件目录Xshell里连接虚拟机1.创建一个新的用户 hadoop命令 useradd hadoop -m-m 是为hadoop创建一个主体目录2.为hadoop用户设置密码命令:passwd hadoop3.理解[root@bogon ~]#root 表示系统用户@表示在bogon 主机名称~ 标识主体目录二、解压缩文件和...原创 2018-07-26 22:43:11 · 242 阅读 · 0 评论 -
Hive SQL(分区和分桶)
1.HIVE 分区表在 hive select 查询中一般会扫描整个内容,消耗很多时间组没必要的工作.有时候只需要扫描表中的一部分关心的数据,因此建表时引入了partition 概念.分区表指的是在创建表时指定的partition的分区空间,Hive可以对数据按照某列或者某些列进行分区管理\举个例子:当前互联网应用每天都要存储大量的日志文件,几G、几十G甚至更大都是有可能。存储日志,其...原创 2018-08-19 15:14:29 · 3456 阅读 · 0 评论