- 博客(17)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 hbase 自定义Filter
参考连接http://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hbase_new_features_and_changes.html#concept_mmb_nbd_k4_unique_2
2016-04-14 12:16:10
420
转载 HBase高级配置跟调整(1)
搜搜日榜 周榜 月榜 总榜HBase高级配置跟调整(1)2015-03-25 05:52 | 4932人阅读 | 来源HBase高级配置和调整(1) 在对HBase集群进行调整之前，你需要先知道它的性能如何。因此，我们将使用Yahoo! Cloud Serving Benchmark（YCSB，雅虎云服务
2016-04-08 17:38:41
1960
原创 配置zookeeper
之前学习hbase用hbase 内置的zookeeper （以下称zk）,用的是hbase内置的zk. 现在来配置使用外部的zk. 第一步：下载zookeeper-3.4.5.tar.gz，解压 tar -zxvf zookeeper-3.4.5.tar.gz -C /cloud第二步：配置 cd /cloud/zookeeper-3.4.5/conf 到该目录下，有一个zoo_sampl
2016-03-20 23:50:38
330
原创 mapreduce向hbase写数据
用MR向hbase 写数据，在这里只用mapper不用hbase,避免mapper向reduce传输数据产生的IO网络流，从而提高效率。第一步：编写代码，打jar包package com.ww.hbase.mrimport;import java.io.IOException;import org.apache.hadoop.conf.Configu
2016-03-20 23:22:16
509
转载 HBase写入优化
前言在HBASE持续写入的时候遇到一种奇怪的情况，写着写着HBase就会出现一阵写入速度为0的情况。在网上查了很多资料，终于找到一篇外文的资料，有详尽的实验和解决方案，在此做一下翻译。原文连接 （需要翻墙）翻译问题我们的程序是通过mapreduce job运行hive query。但mapper程序运行的时候会出现失败（不断的重复失败，最终导致job被kill），报错如下
2016-03-17 11:35:05
4140
原创 Hbase 批量数据BulkLoad 导入使用
以下主要介绍BulkLoad导入数据到hbase 中HBase有多种导入数据的方法，最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出，或者使用标准的客户端API，但是这些都不是非常有效的方法。 Bulkload利用MapReduce作业输出HBase内部数据格式的表数据，然后将生成的StoreFiles直接导入到集群中。与使用HBas
2016-03-04 22:54:29
1255
原创 hbase 伪分布环境搭建
前置条件：hadoop 已经安装。一、配置参数文件 1.hbase-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_40 #指定jdk export HBASE_MANAGES_ZK=true #使用hbase 内部托管的zookeeper 2.hbase-site.sh
2016-03-04 20:19:27
548
转载 namenode 启动过程
hadoop2.5.2学习及实践笔记（四）—— namenode启动过程源码概览对namenode启动时的相关操作及相关类有一个大体了解，后续深入研究时，再对本文进行补充 >实现类HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh，查看start-dfs.sh可以看出，namenode是通过bin/hdfs命令来启动$ vi s
2016-01-24 20:39:04
1547
原创 hadoop topN mapreduce编程
1.编写map,解析单词package com.wwei.had241.mr.topn;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Ma
2016-01-20 19:40:20
492
原创 shell处理文件
#!/bin/shrm -rf multi.txt #删除原来的记录文件rm -rf unique.txtwhile read line1 do filename1=${line1##*/} # 截取文件名，去掉文件路径 filename_pre1=${filename1%%-*} #截取文件名的前缀，删掉版本号 label=noteq label
2016-01-05 23:27:51
374
原创 python CGI 编程环境搭建
1. 安装apr-1.4.6 进入安装目录 解压apr-1.4.6.tar.gzcd /opt/apr-1.4.6/ 安装及编译./configure --prefix=/usr/local/aprmake && make install2. 安装apr-util-1.5.4 解压：tar -jxvf apr-util-1.5.4.tar.bz2 后面可能还会出
2015-12-03 15:44:38
746
原创 flume 采集数据到hdfs
前言：在两台机器上做flume 采集数据实验：hadoop05上安装flume 1.5.0版本,hadoop07上安装hadoop2.2.0版本一、安装 前提:flume是依赖jdk,所以需要安装jdk,这里就不多说，jdk 安装目录/usr/local/jdk1.6.0_45 下载安装文件：apache-flume-1.5.0-bin.tar.gz
2015-10-09 21:57:52
1528
原创 sqoop 从mysql导入数据到hdfs、hive
1.上传sqoop安装包2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://hadoop07:3306/test --username root --password 123 --table user_in
2015-09-29 00:45:12
778
原创 hive 用mysql做metastore 分区查询报错
select * from part_user where datetime='2015-09';FAILED: SemanticException MetaException(message:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version
2015-09-27 22:49:11
720
原创 安装、配置hive
1.下载apache-hive-0.13.0-bin.tar.gz 默认下载存放路径/usr/local/apache-hive-0.13.0-bin.tar.gz tar -zvxf apache-hive-0.13.0-bin.tar.gz mv apache-hive-0.13.0-bin hive-0.13.02.配置环境变量 export HIVE
2015-09-19 01:12:34
420
原创 mysql-5.5.36.tar.gz 在centOS7 安装过程
1. 需要安装cmake 来编译 yum install cmake2.下载 下载mysql-5.5.36.tar.gztar xvf mysql-5.5.36.tar.gzcd mysql-5.5.363.编译源码cmake \-DCMAKE_INSTALL_PREFIX=/data/mysql \-DMYSQL_DATADIR=/da
2015-09-18 19:52:44
1747
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人