Hadoop
文章平均质量分 82
cuihaolong
这个作者很懒,什么都没留下…
展开
-
Ubuntu系统下使用eclipse搭建Hadoop2.7.1运行环境
一、安装eclipse从eclipse官网下载安装文件eclipse downloads,得到eclipse installer,可选择需要的版本安装到本地,搭建hadoop环境选择IDE for Java进行安装。安装好eclipse后如果需要汉化,可以进入eclipse babel项目eclipse babel downloads,根据页面指示从eclipse中在线下载语言包或者下原创 2016-06-12 07:12:09 · 3431 阅读 · 0 评论 -
Hive2.1.0的 Web Interface配置
首先需要从官网下载与当前Hive版本相对应的src文件,并进入到hive/hwi目录下,将web打包成war格式的压缩包,使用命令:jar cfM hive-hwi-2.1.0.war -C web .将压缩包复制到hive/lib/目录下,并配置hive-site.xml中的相关内容 hive.hwi.listen.host 0.0.0.0 This is原创 2016-07-29 14:59:47 · 2448 阅读 · 0 评论 -
Hive使用中的注意事项
1.导入数据显示中文的问题数据导入前需将编码格式更改为utf-8再导入hive数据库,这样查询之后的结果才能正常显示中文而不是乱码,并且可以在相应的HiveQL语句中使用中文对某个字段进行判断。2.查询结果显示列名在hive-site.xml中设置hive.cli.print.header=true即可。3.对COL求平均数并取整数ROUND(AVG(COL))原创 2016-07-31 18:24:08 · 527 阅读 · 0 评论 -
关于Hive的中文注释以及hwi查询中文结果的问题
1.Hive中文注释当在hive中使用create table t1(c1 string comment '列1');创建表t1后,若用describe t1;显示表结构,则注释部分‘列1’显示为‘?1’因此需要在MySQL数据库中对hive数据库的表进行编码设置,前文在配置环境部分已经对hive-site.xml中与MySQL连接的编码设置为UTF-8,正常的数据部分的中文在命令行下是可原创 2016-08-05 11:24:50 · 1827 阅读 · 0 评论 -
Ubuntu系统下配置Hadoop2.7.1
Hadoop2.7.1与之前版本的配置方法类似,需要先安装java,配置环境变量JAVA_HOME、CLASSPATH(java的lib路径)、以及PATH(java的bin路径)。然后安装Hadoop,配置HADOOP_HOME、CLASSPATH(Hadoop的lib路径)、以及PATH(Hadoop的bin以及sbin路径),配置hadoop-env.sh、core-site.x原创 2016-07-26 18:47:06 · 679 阅读 · 0 评论 -
Ubuntu系统下配置Hadoop2.7.1+Hive2.1.0
前言安装过程中遇到的问题从以下博客学习而得,现对其进行整理在Hadoop1.2.1分布式集群环境下安装hive0.12CentOS下Hive2.0.0单机模式安装详解 CentOS下Hive2.0.0集群模式安装详解 解决Hive installation issues: Hive metastore database is not initialized hive启动报错原创 2016-07-26 19:28:41 · 5880 阅读 · 0 评论 -
Ubuntu下配置Hue的各种问题
首先需要根据官网提示安装各种依赖库,然后运行make apps,期间会出现各种问题。1.卡在如下处然后显示timed out或者CRC check不符hue/build/env/local/lib/python2.7/site-packages/pkg_resources/__init__.py:2510: PEP440Warning: 'logilab (common-0.51.0)'原创 2016-08-03 21:47:20 · 6237 阅读 · 0 评论 -
Ubuntu系统下配置HUE
1.环境准备Ubuntu-16.04JDK-1.8.0_71Maven-3.3.9Hue-3.11.0Hadoop-2.7.1Hive-2.0Python-2.72.Hue安装2.1 安装环境依赖根据官方网站的说明 How to build Hue on Ubuntu 14.04 Trusty 进行前期环境配置,安装git等工具,使用命令apt-get install安装各原创 2016-08-21 22:54:25 · 5108 阅读 · 0 评论