dibu9636-CSDN博客

转载 kafka常用命令行（转）

创建kafka topicbin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数partitions分...

2017-11-29 00:19:00 88

转载机器学习探索-推荐引擎算法(实验二)

上篇文章介绍了推荐引擎算法在spark-shell中的操作，实际环境中我们不会仅仅运行一次，更多的是一次编译多次运行，今天我们开始实验二，不过上次实验的笔录很有用哦。------------------------------------------------------------------------------------------------------------...

2017-11-20 22:32:00 152

转载机器学习探索-推荐引擎算法(实验一)

记录今天在机器学习方向的探索，单位的实验室环境用起来很舒服。赞。记录我在机器学习领域的每一步成长。// 本次实验素材取自林大贵先生的大数据巨量分析和机器学习整合开发实战。实验用数据源在文件页面下载。Let's go。-------------------------------------------------------------------------------...

2017-11-19 13:41:00 160

转载 Spark RDD操作记录(总结一)

创建ListintRDD = sc.parallelize(List(1,2,3,4,5))过滤包含stringRDD.filter(_.contains("a")).collect()去重stringRDD.distinct.collect()RDD拆分val sRDD = intRDD.randomSplit(Array(0.4,0.6))显示拆分后的RDDsRDD(0).colle...

2017-11-18 23:09:00 163

转载 kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）

问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a distributed,partitioned,re...

2017-11-17 09:55:00 85

转载 Ambari 常用 REST API（转）

Ambari 常用的 REST API 介绍Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。并且，我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。下面是一些实例。实例 1，通过 API 卸载已安装的 Service...

2017-11-16 22:40:00 152

转载 Hbase shell 手动转移region（转）

在生产环境中很有可能有那么几个Region比较大，但是都运行在同一个Regionserver中。这个时候就需要手动将region移动到负载低的Regionserver中。步骤：1、找到要移动的region，记录红框的id值，这个是唯一的region ID2.查看RegionServer列表，并记录ip、端口、startcode#明显读请求不均衡...

2017-11-16 22:38:00 200

转载 jmap,jhat分析内存（转）

jmap是JDK自带的一个工具，非常小巧方便，其支持参数如下： -heap 打印heap空间的概要，这里可以粗略的检验heap空间的使用情况。jmap -heap PID 1234567891011121314151617181920212223...

2017-11-16 22:36:00 102

转载 Hbase性能调优（转）

zookeeper.session.timeout 默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后，会对这台server负责的regions重新balance，让其他存活的RegionServer接管. 调优：这个ti...

2017-11-16 22:08:00 65

转载 Scala编程思想测试类AtomicTest.scala（手打）

Scala编程思想附录1的测试类。package com.atomicscalaimport language.implicitConversionsimport java.io.FileWriterclass AtomicTest[T](val target:T) { val errorLog = "_AtomicTestErrors.txt" def tst[E](expec...

2017-11-16 21:52:00 123

dibu9636的博客