自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 spark1.3.0__for_hadoop2.4.1编译、安装与初步测试

--- 这个是一个朋友整理的。比较详细有保存价值。 -- 参考: http://spark.apache.org/docs/latest/building-spark.html           http://spark.apache.org/docs/latest/sql-programm...

2015-03-23 08:33:31 12147 0

转载 Spark1.0.0 源码编译和部署包生成

本帖最后由 xioaxu790 于 2014-7-11 13:42 编辑 问题导读: 1、如何对Spark1.0.0源码编译? 2、如何生成Spark1.0的部署包? 3、如何获取包资源? Spark1.0.0的源码编译和部署包生成,其本质只有两种:Maven和SBT,只不过针对不同场景而已...

2015-03-23 08:32:16 618 0

转载 Spark1.0.0属性配置

Spark1.0.0属性配置 时间 2014-06-09 01:34:58 mmicky的hadoop、Spark世界 相似文章 (0) 原文  http://blog.csdn.net/book_mmicky/article/details/29472439 1:Spark...

2015-03-17 14:31:46 529 0

转载 [翻译] 使用Apache Spark估算金融风险

[翻译] 使用Apache Spark估算金融风险 阅读:1612015-03-16 11:58 标签:sparkvar金融股票风险 这篇博文将会介绍如何使用Spark来实现计算密集型统计量的计算,例如使用蒙特卡罗方法计算VaR 在理性条件下,你预计将损失多少金钱?金融统计...

2015-03-17 08:06:15 2370 0

原创 Spark 1.3.0 发布

http://spark.apache.org/docs/latest/quick-start.html

2015-03-14 09:31:19 387 0

转载 Apache Spark源码走读之22 -- 浅谈mllib中线性回归的算法实现

Apache Spark源码走读之22 -- 浅谈mllib中线性回归的算法实现 欢迎转载,转载请注明出处,徽沪一郎。 概要 本文简要描述线性回归算法在Spark MLLib中的具体实现,涉及线性回归算法本身及线性回归并行处理的理论基础,然后对代码实现部分进行走读。 线性回归模型 机器学习...

2015-03-13 20:55:18 1189 0

原创 spark 集群模式读写mysql 问题的处理

时间:20150313 现象:使用local 模式提交正常,但是调整为集群模式出现空指针异常。使用./bin/spark-submit --master spark://jt-host-kvm-17:7077 --classparkMysql.ParkInCountMysql --execut...

2015-03-13 16:27:55 7722 0

转载 Apache Spark技术实战之6 -- spark-submit常见问题及其解决

Apache Spark技术实战之6 -- spark-submit常见问题及其解决 除本人同意外,严禁一切转载,徽沪一郎。 概要 编写了独立运行的Spark Application之后,需要将其提交到Spark Cluster中运行,一般会采用spark-submit来进行...

2015-03-13 16:11:00 2702 0

转载 hadoop集群默认配置和常用配置

hadoop集群默认配置和常用配置 获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个ha...

2015-03-12 13:50:29 412 0

转载 ”Connection reset by peer“引发的思考

”Connection reset by peer“引发的思考   闲来无事,把之前写的一个游戏服务器框架(《一个java页游服务器框架》),部署到阿里云服务器上,测试运行了下,结果看到后台log中打印出了“Connection reset by peer”。出于好奇疑问就查...

2015-03-12 09:57:25 15248 0

转载 memcached 缓存参数的详解

memcached 缓存参数的详解 (2013-03-18 17:39:17) 转载▼   分类: 缓存学习 http://bbs.csdn.net/topics/390379625 protected static MemC...

2015-03-12 09:54:59 1890 0

转载 Memcache存储大数据的问题 - mfrbuaa

Memcache存储大数据的问题 - mfrbuaa 时间 2014-07-08 18:21:44  博客园-所有随笔区原文  http://www.cnblogs.com/mfrbuaa/p/3832065.html       Memcached存储单个item最大数据是在1M...

2015-03-11 13:44:12 545 0

转载 为Hadoop集群选择合适的硬件配置

随着Apache Hadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。 尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件,为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。...

2015-03-10 14:44:15 7009 1

转载 Apache Spark技术实战之6 -- spark-submit常见问题及其解决

Apache Spark技术实战之6 -- spark-submit常见问题及其解决 除本人同意外,严禁一切转载,徽沪一郎。 概要 编写了独立运行的Spark Application之后,需要将其提交到Spark Cluster中运行,一般会采用spark-sub...

2015-03-09 12:53:49 596 0

转载 Hadoop-2.0命令手册 (转)

1.       FS Shell 1.1     简介 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdf...

2015-03-04 16:33:42 406 0

转载 优化hbase的查询优化-大幅提升读写速率(转)

问题导读: 1.本文通过什么方法优化查询效率的? 2.如何增大RPC数量? 3.如何调整hbase内存? 环境:suse  8G内存,8核,12T磁盘           hbase master 占一台,其他7台作为hbase的region server 注意:此处不讨论hadoop ...

2015-03-03 08:10:12 9100 0

转载 分布式日志收集收集系统:Flume(转)

http://www.geekbus.cn/flume-a-distributed-log-collecting-system/ 大数据 Killua 7个月前 (08-15) 1248浏览 0评论 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系...

2015-03-01 07:04:27 6174 0

提示
确定要删除当前文章?
取消 删除