关注
分享
HFUT_qianyang
刘老师指示：学如逆水行舟,不进则退；心似平原跑马,易放难收。不能放松，继续！
展开
-
hive相关操作语句
1.hive查看表结构desc formatted table_name;desc table_name;2.hive建立表create table `reviews_comments_qian`(`comm_id` bigint,`post_id` bigint,`user_id` string,`comm_time` date,`comm_content` string,`auto原创 2016-08-24 12:38:44 · 1756 阅读 · 0 评论 -
hadoop常用命令演示(图片)
目录查看某目录文件创建和删除目录及文件本地文件系统中复制单个或多个源路径到目标文件系统下载文件到本地查看文件内容杀死正在运行的Job查看某目录文件命令：hadoop fs -ls /input创建和删除目录及文件命令： hadoop fs -mkdir /input/input/ hadoop fs -rmr /input/input/ 本地文件系统中复制原创 2016-08-24 12:54:18 · 867 阅读 · 0 评论 -
hadoop的启动与关闭
1.hadoop安装目录bin目标下存放着控制相关启动和关闭文件。如下，截图。 2.首先，我们可以使用find / -name hadoop，查询一下hadoop的安装目录。3.执行cd /usr/local/hadoop/hadoop-1.2.1/bin/进入bin目录下。4.执行sh start-all.sh便启动了hadoop。5.执行sh start-all.sh 便关闭了hadoop。原创 2016-09-28 08:23:55 · 2560 阅读 · 1 评论 -
sqoop2安装详细过程[截图说明]
安装的准备工作下载sqoop解压安装包创建相关目录配置sqoop环境变量并使环境变量生效修改sqoop配置文件启动sqoop安装的准备工作Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS原创 2017-01-02 18:55:29 · 8908 阅读 · 9 评论 -
ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set
问题在使用sqoop导入数据时，报如下错误：ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result set com.mysql.jdbc.RowDataDynamic@2cbefcfd is still active. No statements may be iss原创 2017-01-03 09:16:59 · 3839 阅读 · 0 评论 -
Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.security.AccessControlExcep
hadoop在使用时，由于权限问题，没有解决，导致报错，如下，是我使用hive时，导致的错误。Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inod原创 2017-01-03 14:58:19 · 6819 阅读 · 3 评论 -
在hue中操作hive
创建新表建表语句如下：CREATE TABLE IF NOT EXISTS user_collection_9( user_id string , seller_id string , product_id string , time string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ; hue中向hive导入数据首先，原创 2017-11-08 16:27:20 · 16513 阅读 · 0 评论 -
hive基于多列去重操作
文章目录解决思路例子解决思路一种解决思路是使用group by。即group by用于判断数据重复的多个字段，再使用：collect_set(非group by字段)[0]从group by获取的数据中随意取一个非group by字段。例子例如，有下表：我需要以前两列的字段作为判断重复的标准，即user_name和commentid字段。如若重复，其他列随机取字段值就行了。如下...原创 2018-11-07 20:32:41 · 12060 阅读 · 0 评论