- 博客(8)
- 资源 (4)
- 收藏
- 关注
转载 Hive metastore database is not initialized. Please use schematool(...) to create the schema.
同样遇见问题,这篇文章解决了 http://blog.csdn.net/xiaoshunzi111/article/details/51906049 一:问题:Exception in thread “main” java.lang.RuntimeException: Hive metastore database is not initialized. Please use schem
2016-10-31 00:34:34 649
转载 hive 配置 mysql时的问题(Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D
这篇文章解决了问题,转载自:http://blog.csdn.net/lanchunhui/article/details/50858092 因为 Hive 的映射工具——metastore,默认存放在 derby 中,而derby数据库的一大缺陷在于其不支持并发访问(早期的hive是这样)。当我们使用MySQL 作为其远程仓库时,自然需要修改相关配置文件。(其实所谓的默认配置,即是配置
2016-10-31 00:33:03 481
原创 Hadoop 2.x 多表关联
需求是将这样的两个文件关联起来 文件address: addressID addressname 1 Beijing 2 Guangzhou 3 Shenzhen 4 Xian 文件factory: factoryname addresseID Bejing Red Star 1 Shenzhen Thunder 3 Guangzhou Honda 2 Beijing Rising 1 G
2016-10-16 23:36:59 465
原创 Hadoop 2.x 单表关联
需求是:从下面的文本文件中,得到grandchild--grandparent的关系 child parent Tom Jack Tom Lily Jack Lilei Lilei Some Lucy Some huangpeng zhouaiqiong zhouaiqiong
2016-10-06 13:16:17 395
原创 Hadoop 2.x 数据排序
思路:文本文件也是一行一个单词这样的,那排序的不同在于,默认的shuffer阶段的排序是根据map阶段传入的key值进行排序,整形那就升序排序,字符串就按位比较acsll码大小,那这样在这里是不行的,因为每个reduce上进行的是自己的排序,而无法保证全局上的排序。所以在分配给reduce的前,需要自定义partition类,将同一个数据区间的key传入到同一个reduce中,那么每个reduce
2016-10-06 00:25:08 374
原创 Hadoop2.x 数据去重
数据是这样的文本文件,一行为一个单词 如: words.txt aa aaa b xxx s v words2.txt: aa bb aaa bbb ddddd d 代码和单词计数没有太大差别,例如map阶段传入的key为行标,value为这一行所对应的单词, 只要将单词作为key传入下一步骤(shuffle阶段,此阶段默认做了数据排序,分类,combiler的工作), value可以随
2016-10-06 00:13:30 437
原创 Hadoop 2.x完全分布式安装
最近将虚拟机上的hadoop1.x删除了,装上了2.x,这是安装教程 转载自:http://www.tuicool.com/articles/aIzUV3 一、环境 我的是在Linux环境下进行安装的。对于想在windows系统上学习的同学,可以采用虚拟机方式或通过cygwin模拟linux环境方式进行学习。 现在有三台服务器,分配如下: 10.0.1.10
2016-10-04 17:41:35 405
原创 Hadoop WordCount
版本一: 默认使用Split类方法去做,这样做就是默认一行一行去解析,map阶段 key传入的为行标,value传入的为这一行的值 这种情况只适合于有超多行,但每一行不太长的情况 下面贴代码: 文本文件words.txt aaa bbb ccc ddd eee fff 文本文件words2.txt aa bb aaaa aaa ccc casdasd 11 2 3 11 222 3
2016-10-04 16:04:03 281
MFC教程.chm
2012-09-21
汇编程序设计教程.chm
2012-09-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人