hadoop
吴小全
这个作者很懒,什么都没留下…
展开
-
hadoop集群2.7.2搭建
hadoop集群2.7.2搭建 本文首先搭建两节点的集群,然后动态添加节点。各个节点环境配置如下:master 192.168.101.26master 节点,拥有所有节点的公共密钥hadoop1 192.168.101.28首次创建使用的datanode节点hadoop2 192.168.101.29 hadoop3 192.168.101.30追加的datanode节点将对应关原创 2016-05-10 22:53:04 · 4570 阅读 · 1 评论 -
HBase查看表大小
查看表的大小:1.所有regionserver中所有表大小hadoop fs -du /hbase2.当前regionserver中所有表大小hadoop fs -dus /hbase -ROOT-表和.META.表也不例外, -ROOT-表和.META.表都有同样的表结构, 关于两表的表结构和怎么对应HBase整个环境的表的HRegion, 可以查看上篇转载的文章. splitlog和.原创 2016-09-07 21:50:19 · 10132 阅读 · 0 评论 -
查看HBase表在HDFS中的文件结构
查看HBase表在HDFS中的文件结构原创 2016-09-07 21:47:58 · 3367 阅读 · 0 评论 -
storm常见错误
1. 发布topologies到远程集群时,出现Nimbus host is not set异常原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。解决方法:打开storm.yaml文件正确配置:nimbus.host: “xxx.xxx.xxx.xxx”,重启nimbus后台程序即可。2. 发布topologies到远程集群时,出现AlreadyAlive原创 2016-07-29 23:11:06 · 422 阅读 · 0 评论 -
storm安装
1、安装一个zookeeper集群2、上传storm的安装包,解压3、修改配置文件storm.yaml所使用的zookeeper集群主机storm.zookeeper.servers:- "weekend05"- "weekend06"- "weekend07"nimbus所在的主机名nimbus.host: "weekend05"supervisor.slots.ports-6701-6原创 2016-07-29 23:07:38 · 411 阅读 · 0 评论 -
kafka笔记
集群安装 1、解压 2、修改server.propertiesbroker.id=1zookeeper.connect=weekend05:2181,weekend06:2181,weekend07:21813、将zookeeper集群启动4、在每一台节点上启动brokerbin/kafka-server-start.sh config/server.properties5、在kafka集群中原创 2016-07-29 23:05:32 · 392 阅读 · 0 评论 -
sqoop的使用
sqoop的使用 —-sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具 —-实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装:安装在一台节点上就可以了。1.上传sqoop2.安装和配置 —-修改配置文件 sqoop-env.sh#Set path to where bin/hadoop is availableexport HADOOP_CO原创 2016-07-29 23:03:18 · 352 阅读 · 0 评论 -
Hive1.2.1安装
Hive只在一个节点上安装即可1.上传tar包2.解压tar -zxvf hive-1.2.1.tar.gz -C /cloud/3.配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 rpm -qa | grep mysqlrpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodepsrpm -ivh MySQL-s原创 2016-07-28 21:08:02 · 493 阅读 · 0 评论 -
HBase集群搭建
1.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_55//告诉hbase使用外部的zkexport HBASE_MANAGES_原创 2016-07-28 21:02:30 · 409 阅读 · 0 评论 -
hadoop配置免密码ssh登录
在master上更改权限在搭建hadoop集群时,需要机器相互可以免密码ssh,操作如下(四台机器都要操作):ssh-keygen -t rsa 讲产生的公钥复制到master机器上并重命名,以hadoop1为例子:scp ~/.ssh/id_rsa.pub root@host:~/id_rsa.pub.1 讲所有的迷药追加到authorized_keys中:cat ~/.ssh/id_rsa.原创 2016-05-10 22:57:13 · 677 阅读 · 0 评论 -
hive自定义RowSequence函数
为了实现hive表中自动添加一列唯一key,使得在分布式节点里存在的key唯一,下面我们通过自定义函数来实现。第一种方案:package org.rowsequence; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; import org.apac原创 2017-02-26 16:20:34 · 1943 阅读 · 0 评论