大数据之旅
记录大数据学习的旅途,将学习工作中遇到的坑进行总结
JinbaoSite
不忘初心,方得始终。
展开
-
使用京东云免费云主机搭建CentOS
进入京东云官网,注册登录后,进入免费专区,点击个人免费套餐,找到云服务器,点击申请使用 进入主机申请页面后,选择你想搭建的主机,有CentOS,Ubuntu以及Windows Server这些官方镜像,这里我是搭建CentOS,所以选择了CentOS6.4 64位 然后点击免费试用,进入支付页面后支付0元,5秒钟将跳转到控制台 在控制台中,找到云主机,点击进去 就能看到我们的原创 2017-12-02 14:44:34 · 5462 阅读 · 0 评论 -
CentOS安装Hadoop
1 创建hadoop用户首先以root用户登录远程服务器,执行下面命令创建新用户hadoop,并修改hadoop用户的密码useradd -m hadoop -s /bin/bashpasswd hadoop 为了避免出现权限问题,我们为hadoop用户增加管理员权限visudo找到第98行,就是root ALL=(ALL) ALL这行,可以先按ESC键,然后输入:98,可以直接跳到第98行原创 2017-12-03 12:43:50 · 857 阅读 · 0 评论 -
CentOS中Hadoop单机伪分布式配置
5 Hadoop单机配置首先我们需要为我们的主机名增加IP映射,那么我们需要知道我们的主机名是什么,执行下面命令查看主机名vi /etc/sysconfig/network查看一下HOSTNAME的值,你可以修改这个值,也可以直接将这个值拷贝出来 执行下面命令,增加IP映射sudo vi /etc/hosts在最后一行增加一行,输入主机的ip,以及上面的HOSTN原创 2017-12-03 23:48:36 · 761 阅读 · 0 评论 -
CentOS中Hive1.2安装
1 安装Hive安装Hive之前必须先安装Hadoop 1、CentOS安装Hadoop 2、CentOS中Hadoop单机伪分布式配置1.1 下载Hive这里提供清华大学镜像下载链接hive-1.2.2 将其通过Xftp工具上传到云主机上,执行下面的命令解压tar -zxvf apache-hive-1.2.2-bin.tar.gzmv apache-hive-1.2...原创 2018-05-06 15:53:14 · 936 阅读 · 0 评论 -
Hive数据类型和文件格式
Hive 支持关系型数据库中的大多数基本数据类型,同样也支持关系型数据库中很少出现的3中集合数据类型。1 基本数据类型 数据类型 描述 TINYINT 1byte有符合整数 SMALINT 2byte有符合整数 INT 4byte有符合整数 BIGINT 8byte有符合整数 BOOLEAN 布尔类型,true或...原创 2018-05-07 21:22:19 · 437 阅读 · 0 评论 -
HiveQL数据库
Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间,使用数据库可以表明表命名冲突。 如果用户没有显式指定数据库,那么将会使用默认的数据库default。1 创建数据库创建一个数据库与SQL语言一样CREATE DATABASE test; 有时候为了避免数据库已经存在,而又创建一个同名数据库引发错误,我们可以使用下面的语句CREATE DATABASE IF...原创 2018-05-08 23:21:47 · 475 阅读 · 0 评论 -
HiveQL表的基本概念
1 管理表管理表其实就是我们最常用的表,最普通的表,创建表的SQL语句与MySQL一致CREATE TABLE IF NOT EXISTS manage_table( id STRING, name STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'STORED AS TEXTFILE;通常会使用IF NOT E...原创 2018-05-19 22:23:44 · 485 阅读 · 0 评论 -
HiveQL装载数据
1 装载数据HiveQL装载数据其实就是向表里加载数据,但是这个装载是一次性操作,因为Hive没有行级别的数据插入、数据更新和删除操作。我们对Hive中的表一般是一次加载大量的数据或者自己将数据文件写入到Hive表中所在的存储位置下。 我们以管理表manage_table为例,建表语句如下CREATE TABLE IF NOT EXISTS manage_table( id ST...原创 2018-05-20 11:00:53 · 1200 阅读 · 0 评论