根据本博客的hadoop搭建文章,再继续本章内容。操作简单
直接把下载好的sogou.500w.utf8文件拖拽到lionel账户下的home目录下
然后执行
在master节点上执行
[lionel@master ~]$ cd ~/hadoop-2.5.2
[lionel@master hadoop-2.5.2]$ sbin/start-all.sh
↓
[lionel@master Desktop]$ cd
进入lionel的home目录
↓
在hdfs上新建目录
hdfs dfs -mkdir -p /sogou/test
如果出现‘Name node is in safe mode’则是处于安全模式
进入Hadoop解压目录执行操作
[hadoop@master hadoop-2.5.2]$ bin/hadoop dfsadmin -safemode leave
查看是否创建成功
hdfs dfs -ls /
查看 根目录下的所有文件
↓
把sogou.500w.utf8文件存入
hdfs dfs -put sogou.500w.utf8 /sogou/test
查看是否存入成功
hdfs dfs -ls /sogou/test
查看 /sougou/test 目录下的所有文件
↓
进入hive安装(解压)主目录
[lionel@master ~]$ cd ~/apache-hive-0.13.1-bin
↓
启动hive
[lionel@master apache-hive-0.13.1-bin]$ bin/hive
↓
创建数据库sogou数据库
并建立sogou_test数据表
show databases; (查看所有数据库)
create database sogou; (创建sougou数据库)
use sogou; (选择sougou数据库进行接下来的操作)
create external table sogou_test
(
ts String,
uid String,
keyword String,
rank int,
order int,
url String
)
row format delimited fields terminated by '\t' (把数据按行分开)
stored as textfile location '/sogou/test'; (以/sogou/test目录下的文件为数据)
sogou.500w.utf8存储的是用户搜索的历史纪录,其文件下的数据是以这样的结构存储的
{ 搜索时间 ,用户id ,关键词 ,用户点击网页的位置(或排行),点击的网页在搜索结果的第几页 , url链接}
然后可以执行相关操作
select * from sogou_test limit 5; //前5行 全部内容
select keyword from sogou_test limit 5; //前5行的keyword
以后每次进入hive 进行SQL操作时都要选择进行操作的数据库如:
use sogou;