- 博客(17)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 spark1.3.0__for_hadoop2.4.1编译、安装与初步测试
--- 这个是一个朋友整理的。比较详细有保存价值。-- 参考： http://spark.apache.org/docs/latest/building-spark.html http://spark.apache.org/docs/latest/sql-programming-guide.html#overview-- 主要包括：-- 1. Spark基
2015-03-23 08:33:31
12496
转载 Spark1.0.0 源码编译和部署包生成
本帖最后由 xioaxu790 于 2014-7-11 13:42 编辑问题导读：1、如何对Spark1.0.0源码编译？2、如何生成Spark1.0的部署包？3、如何获取包资源？Spark1.0.0的源码编译和部署包生成，其本质只有两种：Maven和SBT，只不过针对不同场景而已：Maven编译SBT编译IntelliJ IDEA编译（可以采用Mave
2015-03-23 08:32:16
716
转载 Spark1.0.0属性配置
Spark1.0.0属性配置时间 2014-06-09 01:34:58 mmicky的hadoop、Spark世界相似文章 (0)原文 http://blog.csdn.net/book_mmicky/article/details/29472439 1：Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应
2015-03-17 14:31:46
593
转载 [翻译] 使用Apache Spark估算金融风险
[翻译] 使用Apache Spark估算金融风险阅读：1612015-03-16 11:58标签：sparkvar金融股票风险这篇博文将会介绍如何使用Spark来实现计算密集型统计量的计算，例如使用蒙特卡罗方法计算VaR在理性条件下，你预计将损失多少金钱？金融统计量风险价值(Value at Risk, VaR)可以用来回答这个问题。自从1987年股票市场崩盘后由
2015-03-17 08:06:15
2693
转载 Apache Spark源码走读之22 -- 浅谈mllib中线性回归的算法实现
Apache Spark源码走读之22 -- 浅谈mllib中线性回归的算法实现欢迎转载，转载请注明出处，徽沪一郎。概要本文简要描述线性回归算法在Spark MLLib中的具体实现，涉及线性回归算法本身及线性回归并行处理的理论基础，然后对代码实现部分进行走读。线性回归模型机器学习算法是的主要目的是找到最能够对数据做出合理解释的模型，这个模型是假设函数，一步步的推
2015-03-13 20:55:18
1307
原创 spark 集群模式读写mysql 问题的处理
时间：20150313 现象：使用local 模式提交正常，但是调整为集群模式出现空指针异常。使用./bin/spark-submit --master spark://jt-host-kvm-17:7077 --classparkMysql.ParkInCountMysql --executor-memory 300m /httx/work/work.jar local--driver
2015-03-13 16:27:55
8221
转载 Apache Spark技术实战之6 -- spark-submit常见问题及其解决
Apache Spark技术实战之6 -- spark-submit常见问题及其解决除本人同意外，严禁一切转载，徽沪一郎。概要编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢？本文试就此做一个小小的
2015-03-13 16:11:00
2869
1
转载 hadoop集群默认配置和常用配置
hadoop集群默认配置和常用配置获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解
2015-03-12 13:50:29
492
转载 ”Connection reset by peer“引发的思考
”Connection reset by peer“引发的思考 闲来无事，把之前写的一个游戏服务器框架（《一个java页游服务器框架》），部署到阿里云服务器上，测试运行了下，结果看到后台log中打印出了“Connection reset by peer”。出于好奇疑问就查了一下相关资料，网上说一般有这几种： ①：服务器的并发连接数超过了其承载量，服务器会将其中一
2015-03-12 09:57:25
15945
转载 memcached 缓存参数的详解
memcached 缓存参数的详解(2013-03-18 17:39:17)转载▼ 分类： 缓存学习http://bbs.csdn.net/topics/390379625protected static MemCachedClient mcc = new MemCachedClient();
2015-03-12 09:54:59
2155
转载 Memcache存储大数据的问题 - mfrbuaa
Memcache存储大数据的问题 - mfrbuaa时间 2014-07-08 18:21:44 博客园-所有随笔区原文 http://www.cnblogs.com/mfrbuaa/p/3832065.html Memcached存储单个item最大数据是在1MB内，假设数据超过1M,存取set和get是都是返回false，并且引起性能的问题。我们之前对
2015-03-11 13:44:12
629
转载 为Hadoop集群选择合适的硬件配置
随着ApacheHadoop的起步，云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。尽管Hadoop被设计为运行在行业标准的硬件上，提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件，为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。（比如，IO密集型工作负载的用户将会为每个核心主轴投资更多）。在这个博客帖子中，你将会学到一些工作
2015-03-10 14:44:15
8744
1
转载 Apache Spark技术实战之6 -- spark-submit常见问题及其解决
Apache Spark技术实战之6 -- spark-submit常见问题及其解决除本人同意外，严禁一切转载，徽沪一郎。概要编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢？本文试
2015-03-09 12:53:49
706
转载 Hadoop-2.0命令手册 (转)
1. FS Shell1.1 简介调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未
2015-03-04 16:33:42
486
转载 优化hbase的查询优化-大幅提升读写速率(转)
问题导读：1.本文通过什么方法优化查询效率的？2.如何增大RPC数量？3.如何调整hbase内存？环境：suse 8G内存，8核，12T磁盘 hbase master 占一台，其他7台作为hbase的region server注意：此处不讨论hadoop情景： 我们有7亿的数据，需要做查询操作，需要从1.
2015-03-03 08:10:12
10040
转载 分布式日志收集收集系统：Flume(转)
http://www.geekbus.cn/flume-a-distributed-log-collecting-system/大数据Killua7个月前 (08-15) 1248浏览0评论Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可
2015-03-01 07:04:27
6593
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人