2016年05月_迷途小码

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 spark streaming kafka1.4.1中的低阶api createDirectStream使用总结

======http://blog.csdn.net/ligt0610/article/details/47311771====== 由于目前每天需要从kafka中消费20亿条左右的消息，集群压力有点大，会导致job不同程度的异常退出。原来使用spark1.1.0版本中的createStream函数，但是在数据处理速度跟不上数据消费速度且job异常退出的情况下，可能造成大量的

2016-05-24 16:22:56 836

转载 Hue安装指南

＝＝＝＝＝＝refer：http://blog.cheyo.net/81.html＝＝＝＝＝＝准备预安装好如下组件：JDKmavenGit同时安装如软件：yum install -y gcc libxml2-devel libxslt-devel cyrus-sasl-devel mysql-devel python-devel python-set

2016-05-19 16:54:05 1295

转载 Spark Streaming Logging Configuration

======refer:http://shzhangji.com/blog/2015/05/31/spark-streaming-logging-configuration/======Spark Streaming applications tend to run forever, so their log files should be properly handled, to

2016-05-18 14:42:17 759

转载 Spark算子-RDD Action(saveAsNewAPIHadoopFile)

======http://lxw1234.com/archives/2015/07/406.htm======saveAsNewAPIHadoopFiledef saveAsNewAPIHadoopFile[F def saveAsNewAPIHadoopFile(path: String, keyClass: Class[_], valueClass: Class

2016-05-16 11:57:28 1198

转载 Spark批量写数据入HBase

＝＝＝＝＝＝转自：http://www.it165.net/admin/html/201506/5699.html＝＝＝＝＝＝介绍工作中常常会遇到这种情形，需要将hdfs中的大批量数据导入HBase。本文使用Spark+HBase的方式将RDD中的数据导入HBase中。没有使用官网提供的newAPIHadoopRDD接口的方式。使用本文的方式将数据导入HBase, 7000W条数据，花费

2016-05-16 10:54:37 5872

原创名言警句一览

1.你唯一应该超越的人，是昨天的自己2.人的一切痛苦,本质上都是对自己无能的愤怒－－－王小波

2016-05-12 09:25:11 1589

转载 Spark运行环境的安装(Standalone)

Spark功能还是蛮强的，安装的东西可是不少，好在搞完一次就可以一直用（除非用不上）。这里介绍安装需要的软件和步骤。不同机器可能还有些设置不一样的，需要自己去摸索，毕竟这个是开源软件，好事是有问题可以看源代码，坏事也是有问题了要去看源代码。1、准备工作 scala-2.9.3：一种编程语言，下载地址：http://www.scala-lang.org/download/

2016-05-10 14:35:24 576

翻译编译特定hadoop版本的spark

编译匹配Spark－1.2.0和Hadoop－2.4的版本，如下：$SPARK_SRC/make-distribution.sh --tgz -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4 -Phive如果想要编译特定hadoop版本的spark，首先必须在maven配置文件中，加入特定hadoop版本的配置以hadoop 2.5.2为例：

2016-05-10 13:33:04 2355

原创 Hadoop升级(HA+Federation) 2.2升级到2.6

参照《Hadoop升级(HA) 2.2升级到2.6》改变第3步骤：一、升级namenode的时候，指定clusterid，并在主namenode上执行即可hdfs namenode -upgrade -clusterid CID-7a2161ec-ba1c-42d8-9f7b-d8a6c4c7df0ds二、热备namenode通过主namenode同步附

2016-05-10 10:35:10 1117

转载 Hadoop升级(HA) 2.2升级到2.6

官网的文档[HDFSHighAvailabilityWithQJM.html]和[HdfsRollingUpgrade.html]（Note that rolling upgrade is supported only from Hadoop-2.4.0 onwards.）很详细，但是没有一个整体的案例。这里整理下操作记录下来。关闭所有的namenode，部署新版本的hadoop启

2016-05-06 13:25:12 3972 1

转载 Hadoop升级(No HA) 2.2升级到2.6

部署2.6.31234567891011121314[hadoop@hadoop-master1 ~]$ tar zxvf hadoop-2.6.3.tar.gz [hadoop@hadoop-master1 ~]$ cd hadoop-2.6.3/share/[hadoop@hadoop-master1 share]$ rm

2016-05-06 13:23:32 1291 1