![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据.hive
寻回本体之路
这个作者很懒,什么都没留下…
展开
-
Hive - hive.groupby.skewindata环境变量与负载均衡
HiveQL 去重操作和SQL一样,HiveQL中同样支持DISTINCT操作,如下示例:(1) SELECT count(DISTINCT uid) FROM log(2) SELECT ip, count(DISTINCT uid) FROM log GROUP BY ip(3) SELECT ip, count(DISTINCT uid, uname) FROMl转载 2017-05-24 10:24:10 · 357 阅读 · 0 评论 -
hadoop在子节点上没有datanode进程
经常会有这样的事情发生:在主节点上start-all.sh后,子节点有TaskTracker进程,而没有DataNode进程。环境:1NameNode 2DataNode三台机器,Hadoop为1.2.1解决办法:1.先停止Hadoop,bin/stop-all.sh2.三台机器都把hadoop1.2.1/tmp下所有文件删除,rm -rf tmp/*3.重新格式化DFS原创 2017-05-13 15:51:45 · 1813 阅读 · 0 评论 -
Hive连接Mysql---FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
Hive-site.xml[html] view plain copy xml version="1.0"?> xml-stylesheet type="text/xsl" href="configuration.xsl"?> configuration> property> name>转载 2017-05-13 18:33:07 · 268 阅读 · 0 评论 -
安装hive问题
1:Hadoop 启动节点Datanode失败解决查看日志文件[root@hadoop current]# vim /usr/local/hadoop1.1/logs/hadoop-root-datanode-hadoop.logSTARTUP_MSG: version = 1.1.2STARTUP_MSG: build = https://svn.apache.org/repos/a原创 2017-05-06 19:04:44 · 265 阅读 · 0 评论 -
hive中快速对表结构数据进行复制
1. CREATE TABLE new_table LIKE old_table;2. 使用Hadoop fs -cp 命令,把old_table对应的HDFS目录的文件夹全部拷贝到new_table对应的HDFS目录下;3. 使用MSCK REPAIR TABLE new_table;修复新表的分区元数据;转载 2017-06-22 15:37:41 · 707 阅读 · 0 评论