Hadoop+hive+hbase
liangpz521
这个作者很懒,什么都没留下…
展开
-
利用SQOOP将数据从数据库导入到HDFS
基本使用 如下面这个shell脚本: #Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2 #使用的用户名 ORACLENAME=kkaa #使用的密码 ORACLEPASSWORD=kkaa123 #需要从Oracle中导入的表名 oralc原创 2013-09-30 13:36:30 · 745 阅读 · 0 评论 -
hadoop中mapred.tasktracker.map.tasks.maximum的设置
目前,我们邮件的一部分log已经迁移到Hadoop集群上 并由Hive来执行相关的查询 hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2 也即:每一个tasktracker同时运行的map任务数为2 照此默认设置,查询80天某用户的操作日志,耗时5mins, 45sec 经过测试,发现将mapred.tasktrac转载 2013-10-08 11:32:07 · 1631 阅读 · 0 评论 -
Hadoop集群中增加新节点
向一个正在运行的Hadoop集群中增加几个新的Nodes 1. 新节点上部署java/hadoop程序,配置相应的环境变量 2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys 3. 新节点上设置host,需要有集群中各节点的host对应 4. 新节点上建立相关的目录,并修改属主 5. master的slaves文件中增转载 2013-10-08 11:26:12 · 794 阅读 · 0 评论 -
hadoop 根据SecondaryNameNode恢复Namenode
1.修改conf/core-site.xml 增加 property> name>fs.checkpoint.periodname> value>3600value> description>The number of seconds between two periodic checkpoints. description> property> property> n转载 2013-10-08 15:48:35 · 711 阅读 · 0 评论 -
ubuntu12.04下HBase的安装
下载 hbase0.95.2 下载地址如:http://hbase.apache.org tar zxvf hbase-0.95.2-hadoop1-bin.tar.gz mv hbase-0.95.2-hadoop1-bin hbase 1.修改 hbase/conf/hbase-env.sh文件 增加以下三项: export JAVA_HOME=/usr/li原创 2013-10-08 17:38:02 · 914 阅读 · 0 评论 -
sqoop 使用心得(sqoop增量倒入)
sqoop是干吗的,就不在这里浪费笔墨了,这里主要讲下一个新手接触到sqoop碰到的问题。 一 业务场景 Hive 查询Hql的结果进入MySql,目前本人是通过两步来实现的, 1 把hive查询结果直接进入Hive的表a(a表需要创建,结构需要和b一样) 2 通过sqoop把表a的内容导入到MySql表b(b表已经存在), 这个时候你需要现在hive上创建a表,假如b表字段很多原创 2013-09-29 11:09:45 · 1634 阅读 · 0 评论 -
python 通过thrift 简单操作hbase
thrift 是facebook开发并开源的一个二进制通讯中间件,通过thrift,我们可以充分利用各个语言的优势,编写高效的代码。 关于thrift的论文:http://pan.baidu.com/share/link?shareid=234128&uk=3238841275 安装thrift:http://thrift.apache.org/docs/install/ubuntu/原创 2013-10-14 15:13:03 · 877 阅读 · 0 评论 -
hadoop 及word转换pdf方法介绍[个人整理资料2014-03-14]
sqoop import --connect jdbc:mysql://localhost:3306/yg_main --username root --password root --table item --hive-import --hive-table default.item -m 1 1.从mysql中导数据到hdfs和hive中 ./sqoop i原创 2014-03-14 16:01:05 · 952 阅读 · 0 评论