hadoop
文章平均质量分 72
千山我独行_不需相送
这个作者很懒,什么都没留下…
展开
-
hadoop_cluser
修改主机名:vi /etc/sysconfig/network修改主机名和IP的映射关系:vim /etc/hostsjava安装卸载之前版本的java1.卸载java:rpm -qa | grep java 卸载:rpm -e --nodeps 查询出来的包名1.cd /opttar -zxvf jdk-7u75-linux-x64.tar原创 2015-11-18 08:29:01 · 1091 阅读 · 0 评论 -
SimpleGraphX PageRank shell
package week7import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.graphx._import org.apache.spark.rdd.RDDobject SimpleGraphX { def m原创 2015-12-02 08:36:35 · 495 阅读 · 0 评论 -
kafka安装及使用
一:kafka的安装1.n5上面下载:wget http://apache.dataguru.cn/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz2.vi /usr/lib/kafka/config/server.properties broker.id=5log.dirs=/usr/lib/kafka/kafka-logslog.flush.i原创 2015-11-26 23:04:51 · 1038 阅读 · 0 评论 -
hive参数调节
一.优化切入后session作用域set mapred.job.priorityset mapred.job.priority=VERY_HIGH整体map执行90%,才会启动reducedMR中间压缩set hive.exec.compress.intermediate=true; hive开启压缩set mapred.compress.map.o原创 2015-12-02 07:39:26 · 1726 阅读 · 0 评论 -
SparkSqlForTest
package week4/** * Created by Administrator on 2015/3/31. */import java.text.SimpleDateFormatimport org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.SparkConte原创 2015-12-02 07:37:43 · 392 阅读 · 0 评论 -
mac安装/升级java并配置环境变量
工作需要升级java版本,(1.6-1.7).中间出现了一些插曲。摔,版本明明已经升上去了。。。1.下载java更新包jdk-7u45-macosx-x64.dmg2.安装出错,“您的系统具有 Mac OS X 版本 10.10.5。此产品可安装在版本 10.7.3 或更高版本上。有关详细信息, 请访问 java.com/help。”3.原创 2015-11-23 23:24:58 · 2947 阅读 · 0 评论 -
Deploy_Cluster_CDH
1.卸载java:rpm -qa | grep java 卸载:rpm -e --nodeps 查询出来的包名2.配置ssh: cd ~/.ssh/ ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys原创 2015-11-27 07:57:28 · 1335 阅读 · 0 评论 -
spark cluster 下 spark-shell/spark-spark提交wordcount sparksql Demo
一:环境配置My conf/spark-env.sh is:export SPARK_MASTER_IP=node1.cluster.localexport SPARK_WORKER_CORES=20export SPARK_WORKER_MEMORY=12gexport SPARK_WORKER_DIR=/scratch/cperez/sparkexport原创 2015-11-27 07:34:01 · 1684 阅读 · 0 评论 -
Deploy_Cluster_Apache
一:环境部署修改主机名:vi /etc/sysconfig/network修改主机名和IP的映射关系:vim /etc/hostsjava安装卸载之前版本的java1.卸载java:rpm -qa | grep java 卸载:rpm -e --nodeps 查询出来的包名1.cd /opttar -zxvf jdk-7u75-linux-x64.tar.gz原创 2015-11-26 23:01:22 · 816 阅读 · 0 评论 -
maven 安装纪录
一:在线安装方式m2e - http://q4e.googlecode.com/svn/trunk/updatesite-iam/ Help -> Install New Software…1.http://download.eclipse.org/technology/m2e/releases 2.http://www.fuin.org/p2-repository/原创 2015-11-24 23:04:05 · 454 阅读 · 0 评论 -
spark 单机模式
一.安装scalahttp://www.scala-lang.org/download/2.10.6.htmltar -zxvf scala-2.10.5.tar二.安装spark1.下载http://spark.apache.org/downloads.html选择:pre build for hadoop 2.6 later spark-1.5.2-bi原创 2015-11-24 14:47:56 · 916 阅读 · 0 评论 -
hadoop 单机模式
一:安装hadoop1.binaryhttp://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.2/hadoop-2.6.2.tar.gz2.hadoop2.6 需要jdk1.7的环境,mac自带的是jdk1.6,升级方法见上一篇文章3.tar -zxvf hadoop-2.6.2.tar.gz4.cd had原创 2015-11-24 00:09:17 · 419 阅读 · 0 评论