hadoop
文章平均质量分 53
TurboBoost
这个作者很懒,什么都没留下…
展开
-
Hadoop无法启动namenode(connect to host olddriver port 22: Connection refused)
在hadoop中启动namenode时提示 Starting namenodes on [olddriver] olddriver: ssh: connect to host olddriver port 22: Connection refused 系统是centOS6.5的,之前成功过没出现过这个问题。 仔细一看我的hostname知道问题所在了 [root@Slave logs]#原创 2016-07-24 13:49:12 · 4052 阅读 · 0 评论 -
hadoop中filesystem无法显示( Can't browse the DFS since there are no live nodes available to redirect to.)
2.2.0版本中通过filesystem进入 http://192.168.211.128:50070/nn_browsedfscontent.jsp 界面显示如下:HTTP ERROR 500Problem accessing /nn_browsedfscontent.jsp. Reason:Can't browse the DFS since there are no live node原创 2016-07-24 20:23:22 · 3538 阅读 · 0 评论 -
hadoop使用心得总结
想到什么平常遇到的问题就记一下,持续更新。。。1.修改完profile文件后记得source一下。原创 2016-07-25 09:46:34 · 2041 阅读 · 0 评论 -
hive中查询案例(表的建立以及split函数使用)
1.hive表的两种类型在hive上创建表时,有内表与外表两种类型,对应的语句为 CREATE TABLE 与CREATE EXTERNAL TABLE。 其中创建内表过程中,hive会将数据移动到数据仓库指向路径。 而创建外表时,记录数据所在路径,不对数据进行任何操作。 因此删除数据表时,内表的元数据与数据一同删除,而外表数据不会改动,仅删除元数据。在使用时尽量使用外表,以防不时删除表带原创 2016-07-26 23:22:33 · 6023 阅读 · 1 评论 -
使用sqoop将hive数据导入mysql实例
1.环境配置 ##CentOS6.5 hadoop2.2 jdk1.7.0 sqoop1.4.4 zookeeper3.4.5 Mysql 14.142.在mysql上创建表先按照需求在mysql上创建表CREATE DATABASE demo;USE demo;DROP TABLE IF EXISTS task2;CREATE TABLE task2(month TINYINT,原创 2016-08-03 18:29:05 · 3033 阅读 · 0 评论 -
hive处理实际数据时数据总量的问题
1.背景在下在研究hive时,手上的数据是excel数据转化为txt以后再改为UTF-8编码最后上传的。txt文件有若干个,将它们统一编号使用rz命令上传到linux虚拟机上,放在同一个新建的文件夹下。首先是创建表,然后将所有txt文件中的数据导入表中LOAD DATA LOCAL INPATH '/root/test/*.txt' INTO TABLE turbo;这时候就可以对表进行操作了,首先原创 2016-07-29 17:33:14 · 2342 阅读 · 1 评论 -
hadoop+spark集群自动化部署实现
1.环境与安装包 CentOS 6.7 jdk-8u45-linux-x64.tar.gz zookeeper-3.4.5.tar.gz hadoop-2.7.2.tar.gz spark-2.0.0-bin-hadoop2.7.tgz 2.部署前准备1. 虚拟机安装CentOS系统 安装完后配置: 1.配置IP 2.主机名以及主机与IP对应关系 3.防火原创 2016-09-23 16:40:38 · 2165 阅读 · 0 评论