- 博客(10)
- 资源 (15)
- 收藏
- 关注
原创 Flume Avro 两台机器间进行数据传输的方式
flume 通过avro方式在两台机器之间进行数据传输比如要在192.168.17.18 上把数据传到 192.168.17.171 首先要再两台机器上都部署 flume2 在 17 flume下这样配置 avro-flume.confagent3.channels = ch1agent3.sources = avro-source1agent3.sinks = log
2015-03-31 18:19:40 13536 1
转载 linux对多个用户或多个组进行权限管理
转自:http://www.linuxidc.com/Linux/2013-07/88049.htmACL的使用 ACL即Access Control List 主要的目的是提供传统的owner,group,others的read,write,execute权限之外的具体权限设置,ACL可以针对单一用户、单一文件或目录来进行r,w,x的权限控制,对于需要特殊权限的使用状况有一
2015-03-18 13:37:13 3132
原创 hadoop访问hdfs 的两种方式
hadoop 提供了两种方式对hdfs 进行访问:1 配置客户端,后台连接到客户端进行工作客户端的配置比较简单,只要把配置好的hadoop的namenode节点的hadoop 打包,发到另一台机器(该机器不出现在 etc/hadoop/slaves里就可以)设置一下环境变量 JAVA_HOME HADOOP_HOME 还有一些在hadoop xml配置的临时文件目录等 也改一下(启
2015-03-18 13:06:20 24724
原创 hiveserver2 启动后jdbc 连接上的原因
1 首先修改 hive-site.xml hive.server2.thrift.port 10000 hive.server2.thrift.bind.host localhost 2 测试连接是否以连上不用写jdbc程序,运行 bin/beeline.sh然后输入 !connect jdbc:hive2://上面设置的ip地址:10000 hiv
2015-03-18 08:01:16 20218 7
原创 java 带有包名编译并运行,附带外部依赖jar包运行
今天写了个测试程序,带有包名,竟然忘记了怎么编译和运行,所以现在记下来1 带包程序的编译与运行package test;public class HiveJdbcClient { public static void main(String[] args) { System.out.println("-------------------"); }}程序中带有
2015-03-17 22:32:28 23613
原创 hive 配置注意事项及初始化hive 元数据
今天配置hive 犯了一个问题:下载的hive tar.gz 里的conf目录只有一个 hive-default.xml.template,于是我就cp 了一份命名为:hive-default.xml结果弄上去总是出现一个问题,就是我在 bin/ 运行hive 创建的database和在 任意其他目录运行hive 创建的database (已配置好环境变量)在两个地方出现的并不相同,这个
2015-03-16 21:46:04 27470 4
原创 Hadoop 配置及hadoop HA 的配置
注:本文中提到的ochadoop 不要感到奇怪,是亚信公司内部自己合成的一个包,把所有的组件都放在一个包内了,免去了组件的下载过程和解决兼容问题,其实也可以自己下载的,不要受到影响。另,转载请注明出处,谢谢修改静态IP和hostname在 /etc/sysconfig/network-scripts/ifcfg-eth0配置IPADDR地址运行以下命
2015-03-15 09:00:18 9915 1
转载 hadoop-HA Hadoop 2.2.0版本HDFS的HA配置
http://blog.csdn.net/dmcpxy/article/details/18256607注:以下配置描述的是HDFS的QJM方式的HA配置。1.1 zookeeper集群配置这里我使用了三台机器(在笔记本上使用vmware创建了三个虚拟机来实现)部署zookeeper集群,机器IP分别是:l 192.168.111.130(hostname:hd0)
2015-03-06 13:41:37 718 1
转载 hadoop-HA hadoop2.0 HDFS搭建和HA切换
http://blog.csdn.net/kirayuan/article/details/17379743说到了hadoop2.0的新特性。这里详解一下搭建步骤以及原理。 首先,需要在cdh官方下载对应的源码包:http://archive.cloudera.com/cdh4/cdh/4/ 以cdh4.3.1版本为例来进行说明。
2015-03-06 13:39:42 745
转载 Hadoop 的HA高可集群用性
原文地址: http://blog.csdn.net/caizhongda/article/details/7947480一、 Hadoop 的高可用性1. 概论本指南提供了一个HDFS 的高可用性(HA )功能的概述,以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情,请参阅Apache 的HDFS
2015-03-06 13:38:09 416
JDOM API 帮助文档
2009-10-27
javascript精粹(英文版)
2008-07-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人