- 博客(12)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 使用Phoenix通过sql语句更新操作hbase数据
转：https://segmentfault.com/a/1190000002936080hbase 提供很方便的shell脚本，可以对数据表进行 CURD 操作，但是毕竟是有一定的学习成本的，基本上对于开发来讲，sql 语句都是看家本领，那么，有没有一种方法可以把 sql 语句转换成 hbase的原生API呢？ 这样就可以通过普通平常的 sql 来对hbase 进行数据的管理
2016-07-27 14:42:22
2982
1
转载 Hadoop多用户资源管理–Fair Scheduler介绍与配置
转:http://lxw1234.com/archives/2015/10/536.htm在一个公司内部的Hadoop Yarn集群，肯定会被多个业务、多个用户同时使用，共享Yarn的资源，如果不做资源的管理与规划，那么整个Yarn的资源很容易被某一个用户提交的Application占满，其它任务只能等待，这种当然很不合理，我们希望每个业务都有属于自己的特定资源来运行MapRe
2016-07-27 10:56:50
4174
转载 kafka性能参数和压力测试揭秘
转:http://blog.csdn.net/stark_summer/article/details/50203133今天的文章分为两大部分，第一部分介绍一下我总结的跟性能有关的一些参数、含义以及调优策略。第二部分会给出一些我自己实践过的测试结果对照组，具体的数值和结果可能因场景、机器、环境而异，但是总体的思路和方法应该是一致的。在正式进入主题之前，介绍一下本次测
2016-07-27 10:52:33
1926
转载 flume 监控
转:http://www.cnblogs.com/sunxucool/p/3906525.htmlFlume本身提供了http, ganglia的监控服务，而我们目前主要使用zabbix做监控。因此，我们为Flume添加了zabbix监控模块，和sa的监控服务无缝融合。另一方面，净化Flume的metrics。只将我们需要的metrics发送给zabbix，避免 zabbix se
2016-07-17 12:12:10
480
转载 Flume 收集Nginx日志 tail-to-avro avro-to-file
转：http://blog.csdn.net/luyee2010/article/details/22171157nginx，access.log日志约1.6w条/s，每1000w条数据约2000M,需要10mintail-to-avroagent1.sources = source1agent1.sinks = sink1agent1.channels = channel
2016-07-16 11:41:17
394
原创 Hbase 日常运维
1.1监控Hbase运行状况 1.1.1操作系统 1.1.1.1IO a.群集网络IO，磁盘IO，HDFS IO IO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大量压缩操作。 2.正在执行mapreduce作业 可以通过CDH前台查看整个集群综合的数据或进入指定机器的前台查看单台机器的数据： b.Io wait 磁盘IO对集群的
2016-07-13 00:16:34
3558
2
转载 对HBase中Bloomfilter类型的设置及使用的理解
转：http://zjushch.iteye.com/blog/15301431.Bloomfilter的原理？ 可参考 http://hi.baidu.com/yizhizaitaobi/blog/item/cc1290a0a0cd69974610646f.html 2.Bloomfilter在HBase中的作用？ HBase利用Bloomfilter来提高随机读（G
2016-07-12 23:58:40
1686
转载 Spark on yarn的内存分配问题
转：http://maohong.sinaapp.com/archives/408问题描述在测试spark on yarn时，发现一些内存分配上的问题，具体如下。在$SPARK_HOME/conf/spark-env.sh中配置如下参数：SPARK_EXECUTOR_INSTANCES=4 在yarn集群中启动的executor进程数SPARK_EXECUTOR_MEMORY=
2016-07-12 14:30:35
2597
转载 Hadoop YARN如何调度内存和CPU
转： http://www.searchbi.com.cn/showcontent_78166.htm在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）
2016-07-12 09:38:24
900
原创 ln 命令使用参数详解(ln -s 软链接)
常用的参数是-s,具体用法是：ln -s 源文件 目标文件这 里有两点要注意：第一，ln命令会保持每一处链接文件的同步性，也就是说，不论你改动了哪一处，其它的文件都会发生相同的变化；第二，ln的链接又软链接 和硬链接两种，软链接就是ln -s * ,它只会在你选定的位置上生成一个文件的镜像，不会占用磁盘空间，硬链接ln *,没有参数-s, 它会在你选定的位置上生成一个和源文件大小相同的文件，无论是
2016-07-09 19:02:28
3732
原创 yarn 关于资源参数设置
yarn-site.xml yarn.scheduler.minimum-allocation-mb yarn.scheduler.maximum-allocation-mb说明：单个容器可申请的最小与最大内存，应用在运行申请内存时不能超过最大值，小于最小值则分配最小值，从这个角度看，最小值有点想操作系统中的页。最小值还有另外一种用途，计算一个节点的最大container数目注：这
2016-07-09 18:49:44
24120
原创 Hdfs block
1.修改hdfs块大小的方法在hdfs-site.xml文件中修改配置块大小的地方，dfs.block.size节点。 重启集群后，重新上传文件到hadoop集群上，新增的文件会按照新的块大小存储，旧的不会改变。2.hadoop指定某个文件的blocksize，而不改变整个集群的blocksize文件上传的时候，使用下面的命令即可 hdfs dfs -D dfs.blocksize=134217
2016-07-09 18:15:56
621
KafkaOffsetMonitor-assembly-0.2.0
2016-01-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人