![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 65
肖的博客
这个作者很懒,什么都没留下…
展开
-
Hadoop优化总结
经过一年多对hadoop的学习和使用对hadoop的优化做了一下总结,如下:1.开启带外心跳带外心跳不同于常规心跳(集群规模小于300,1.x以后的时间间隔为0.3秒),他是任务运行结束或者任务运行失败时触发的,能够在出现空闲资源时第一时间通知JobTracker,以便它能够迅速为空闲资源分配新的任务。mapreduce.tasktracker.outofband.heartb原创 2014-03-31 13:52:04 · 1071 阅读 · 0 评论 -
Hive0.10+Hbase0.96整合使用
我做的是Hive0.10+Hbase0.96的整合,其他版本的原创 2014-05-30 17:14:45 · 916 阅读 · 0 评论 -
低版本升级到hadoop2
HDFS升级,是hadoop集群升级到2.0的关键,而hdfs升级,最重要的是namenode的升级。首先声明:在 HA 模式下,namenode是不能升级的!2013-10-25 16:28:24,669 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Exception in namenode joinorg.apach原创 2014-05-28 10:07:07 · 1496 阅读 · 2 评论 -
hadoop运维问题汇总,持续更新
1.hadoop运行一段时间后关闭集群居然报了no、原创 2014-06-09 09:20:34 · 795 阅读 · 0 评论 -
Flume-ng分布式部署和配置
Flume-ng分布式部署总结1.日志总接收端的配置(负责接收各个节点发送过来的日志数据),修改flume的安装目录下/conf/flume-conf.properties配置文件(默认没有,cp flumeconf.properties.template flume-conf.properties)agent.sources = avrosrc agent.channels = m原创 2014-04-07 15:35:51 · 2551 阅读 · 1 评论 -
Hadoop生态圈常用命令
Hadoop生态圈常用命令1.格式化HDFShadoop namenode -format2.启动start-all.shstart-dfs.shstart-mapred.sh3.ssh免登陆在root的.ssh文件夹中执行ssh-keygen -t rsa拷贝到目标节点:ssh-copy-id -i 192.168.35.1014.MapRedece执行jar原创 2014-04-07 21:28:56 · 626 阅读 · 0 评论 -
Hadoop生态圈开源项目总结
一.Hadoop总结1.HDFS shell1.0查看帮助hadoop fs -help 1.1上传hadoop fs -put 1.2查看文件内容hadoop fs -cat 1.3查看文件列表hadoop fs -ls /1.4下载文件hadoop fs -get 1.5删除文件hadoop fs -rmr 1.6创建文件夹had原创 2014-04-07 21:29:54 · 831 阅读 · 0 评论 -
Hive总结
hvive总结:简介: Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉MapReduce 开发者的开发自定义的 mapp原创 2014-04-06 19:07:23 · 779 阅读 · 0 评论 -
HBase RowKey设计原则
本文引自淘宝技术部文章:http://rdc.taobao.org/?p=457建议使用String如果不是特殊要求,RowKey最好都是String。方便线上使用Shell查数据、排查错误更容易让数据均匀分布不必考虑存储成本RowKey的长度尽量短如果RowKey太长话,第一是,存储开销会增加,影响存储效率;第二是,内存中Rowkey字段过长,内存的利用率转载 2014-04-02 10:17:29 · 2608 阅读 · 1 评论 -
Storm安装配置
1.编译安装ZMQ:tar -xzf zeromq-2.1.7.tar.gzcd zeromq-2.1.7./configure#编译可能会出错:configure:error: Unable to find a working C++ compiler#安装一下依赖的rpm包:libstdc++-develgcc-c++ 可以上网的情况下:yum install gc原创 2014-03-31 14:07:26 · 822 阅读 · 0 评论 -
storm详解一
Topology结构图如下:1.Topology的启动和关闭1)启动Topology:将编辑好的jar文件拷到一个文件目录下,如/cloud/storm/jarstorm jar /cloud/storm/jar/demo.jar org.me.MyTopology arg1 arg2arg3其中,demo.jar是包含Topology实现代码的jar包,org.me.原创 2014-03-31 21:11:22 · 664 阅读 · 0 评论 -
Flume安装使用
Flume官方提供Flume的原理图Flume安装1.将Flume解压到/cloud目录下tar -zxvf apache-flume-1.4.0-bin.tar.gz -C /cloud2.配置文件手动编写一个配置文件(a3.conf)格式如下#定义agent名, source、channel、sink的名称a3.sources = r1a3.channe原创 2014-03-30 19:17:14 · 713 阅读 · 0 评论 -
MapReduce实现倒排序索引
import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import原创 2014-03-30 18:57:30 · 677 阅读 · 0 评论 -
hadoop集群搭建
1.配置Linux环境1.1选择Host-only方式1.2修改Linux的IPvim /etc/sysconfig/network-scripts/ifcfg-eth0文件内容如下DEVICE="eth0"BOOTPROTO="static" #设置IP属性为静态HWADDR="00:0C:29:3C:BF:E7"IPV6INIT="ye原创 2014-03-30 18:38:15 · 527 阅读 · 0 评论 -
Hive安装和使用
Hive只在一个节点上安装即可1.上传tar包2.解压tar -zxvf hive-0.9.0.tar.gz -C /cloud/配置HIVE_HOME环境变量3.将hive的metastore设置为mysql (切换到root用户) 配置hivecp hive-default.xml.template hive-site.xml 修改hive-site.x原创 2014-03-30 19:05:18 · 585 阅读 · 0 评论 -
MapReduce作业运行流程
一.MapReduce作业运行流程 根据源码分析作业的提交流程时序图如下MR的作业流程图:1.在客户端启动一个作业。2.通过JobClient向JobTracker请求一个Job ID和资源文件存放路径。3.将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息(通原创 2014-03-30 18:18:45 · 1518 阅读 · 0 评论 -
Hbase集群搭建
hbase适合场景:存储大量数据、表关系不高,实时写入快速读取1.上传hbase安装包2.解压 tar -zxvf hbase-0.94.7-security.tar.gz -C /cloud3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jdk1.6.0_45原创 2014-03-30 18:45:40 · 592 阅读 · 0 评论 -
菜鸟部署测试spark
废话少说直接部署方案,为了便于测试我将采用local的模式master -> hadoop00worker -> hadoop00cd conf目录下配置spark-env.sh,添加如下配置项export SPARK_MASTER_IP=hadoop00export SPARK_WORKER_CORES=1export SPARK_WORKER_INSTANCES=1原创 2014-07-05 12:00:10 · 789 阅读 · 0 评论