自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(17)
  • 资源 (4)
  • 论坛 (33)
  • 收藏
  • 关注

转载 spark1.3.0__for_hadoop2.4.1编译、安装与初步测试

--- 这个是一个朋友整理的。比较详细有保存价值。-- 参考: http://spark.apache.org/docs/latest/building-spark.html          http://spark.apache.org/docs/latest/sql-programming-guide.html#overview-- 主要包括:-- 1. Spark基

2015-03-23 08:33:31 12306

转载 Spark1.0.0 源码编译和部署包生成

本帖最后由 xioaxu790 于 2014-7-11 13:42 编辑问题导读:1、如何对Spark1.0.0源码编译?2、如何生成Spark1.0的部署包?3、如何获取包资源?Spark1.0.0的源码编译和部署包生成,其本质只有两种:Maven和SBT,只不过针对不同场景而已:Maven编译SBT编译IntelliJ IDEA编译(可以采用Mave

2015-03-23 08:32:16 674

转载 Spark1.0.0属性配置

Spark1.0.0属性配置时间 2014-06-09 01:34:58 mmicky的hadoop、Spark世界相似文章 (0)原文  http://blog.csdn.net/book_mmicky/article/details/29472439 1:Spark1.0.0属性配置方式      Spark属性提供了大部分应用程序的控制项,并且可以单独为每个应

2015-03-17 14:31:46 558

转载 [翻译] 使用Apache Spark估算金融风险

[翻译] 使用Apache Spark估算金融风险阅读:1612015-03-16 11:58标签:sparkvar金融股票风险这篇博文将会介绍如何使用Spark来实现计算密集型统计量的计算,例如使用蒙特卡罗方法计算VaR在理性条件下,你预计将损失多少金钱?金融统计量风险价值(Value at Risk, VaR)可以用来回答这个问题。自从1987年股票市场崩盘后由

2015-03-17 08:06:15 2548

原创 Spark 1.3.0 发布

http://spark.apache.org/docs/latest/quick-start.html

2015-03-14 09:31:19 421

转载 Apache Spark源码走读之22 -- 浅谈mllib中线性回归的算法实现

Apache Spark源码走读之22 -- 浅谈mllib中线性回归的算法实现欢迎转载,转载请注明出处,徽沪一郎。概要本文简要描述线性回归算法在Spark MLLib中的具体实现,涉及线性回归算法本身及线性回归并行处理的理论基础,然后对代码实现部分进行走读。线性回归模型机器学习算法是的主要目的是找到最能够对数据做出合理解释的模型,这个模型是假设函数,一步步的推

2015-03-13 20:55:18 1239

原创 spark 集群模式读写mysql 问题的处理

时间:20150313 现象:使用local 模式提交正常,但是调整为集群模式出现空指针异常。使用./bin/spark-submit --master spark://jt-host-kvm-17:7077 --classparkMysql.ParkInCountMysql --executor-memory 300m    /httx/work/work.jar local--driver

2015-03-13 16:27:55 7979

转载 Apache Spark技术实战之6 -- spark-submit常见问题及其解决

Apache Spark技术实战之6 -- spark-submit常见问题及其解决除本人同意外,严禁一切转载,徽沪一郎。概要编写了独立运行的Spark Application之后,需要将其提交到Spark Cluster中运行,一般会采用spark-submit来进行应用的提交,在使用spark-submit的过程中,有哪些事情需要注意的呢?本文试就此做一个小小的

2015-03-13 16:11:00 2744 1

转载 hadoop集群默认配置和常用配置

hadoop集群默认配置和常用配置获取默认配置配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法:1.选择相应版本的hadoop,下载解

2015-03-12 13:50:29 452

转载 ”Connection reset by peer“引发的思考

”Connection reset by peer“引发的思考  闲来无事,把之前写的一个游戏服务器框架(《一个java页游服务器框架》),部署到阿里云服务器上,测试运行了下,结果看到后台log中打印出了“Connection reset by peer”。出于好奇疑问就查了一下相关资料,网上说一般有这几种:  ①:服务器的并发连接数超过了其承载量,服务器会将其中一

2015-03-12 09:57:25 15680

转载 memcached 缓存参数的详解

memcached 缓存参数的详解(2013-03-18 17:39:17)转载▼ 分类: 缓存学习http://bbs.csdn.net/topics/390379625protected static MemCachedClient mcc = new MemCachedClient();      

2015-03-12 09:54:59 2008

转载 Memcache存储大数据的问题 - mfrbuaa

Memcache存储大数据的问题 - mfrbuaa时间 2014-07-08 18:21:44  博客园-所有随笔区原文  http://www.cnblogs.com/mfrbuaa/p/3832065.html      Memcached存储单个item最大数据是在1MB内,假设数据超过1M,存取set和get是都是返回false,并且引起性能的问题。我们之前对

2015-03-11 13:44:12 569

转载 为Hadoop集群选择合适的硬件配置

随着ApacheHadoop的起步,云客户的增多面临的首要问题就是如何为他们新的的Hadoop集群选择合适的硬件。尽管Hadoop被设计为运行在行业标准的硬件上,提出一个理想的集群配置不想提供硬件规格列表那么简单。 选择硬件,为给定的负载在性能和经济性提供最佳平衡是需要测试和验证其有效性。(比如,IO密集型工作负载的用户将会为每个核心主轴投资更多)。在这个博客帖子中,你将会学到一些工作

2015-03-10 14:44:15 7697 1

转载 Apache Spark技术实战之6 -- spark-submit常见问题及其解决

Apache Spark技术实战之6 -- spark-submit常见问题及其解决除本人同意外,严禁一切转载,徽沪一郎。概要编写了独立运行的Spark Application之后,需要将其提交到Spark Cluster中运行,一般会采用spark-submit来进行应用的提交,在使用spark-submit的过程中,有哪些事情需要注意的呢?本文试

2015-03-09 12:53:49 620

转载 Hadoop-2.0命令手册 (转)

1.       FS Shell1.1     简介调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未

2015-03-04 16:33:42 432

转载 优化hbase的查询优化-大幅提升读写速率(转)

问题导读:1.本文通过什么方法优化查询效率的?2.如何增大RPC数量?3.如何调整hbase内存?环境:suse  8G内存,8核,12T磁盘          hbase master 占一台,其他7台作为hbase的region server注意:此处不讨论hadoop情景:          我们有7亿的数据,需要做查询操作,需要从1.

2015-03-03 08:10:12 9801

转载 分布式日志收集收集系统:Flume(转)

http://www.geekbus.cn/flume-a-distributed-log-collecting-system/大数据Killua7个月前 (08-15) 1248浏览0评论Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可

2015-03-01 07:04:27 6317

2007年下半年系统分析师考试试题分析.doc

2007年下半年系统分析师考试试题分析.doc

2007-11-21

2007年下半年系统分析师上午试卷.doc

2007年下半年系统分析师上午试卷.doc

2007-11-21

2007年下半年系统分析师下午试卷Ⅰ.doc

2007年下半年系统分析师下午试卷Ⅰ.doc

2007-11-21

2007年下半年系统分析师下午试卷Ⅱ.doc

2007年下半年系统分析师下午试卷Ⅱ.doc

2007-11-21

javastart的留言板

发表于 2020-01-02 最后回复 2020-03-08

struts 2 的 select 问题 请指教

发表于 2008-05-04 最后回复 2008-05-20

求助:服务启动失败,ISQL*PLUS怎样以SYS进行连接到指定的数据库?

发表于 2006-10-10 最后回复 2006-10-12

请教:入门问题:NET MANAGER配置的服务器名称问题

发表于 2006-08-15 最后回复 2006-08-30

请问;jdk帮助文档中怎么查找关键字(如+,_,for)

发表于 2006-07-13 最后回复 2006-07-20

请教问题啊:Eclipse3.1退出无缘无故退出

发表于 2006-05-08 最后回复 2006-05-22

各位大侠:MyEclipse 中如何单步调试JSP

发表于 2006-03-13 最后回复 2006-03-16

我安装JBUILDER2006,我启动TOMCAT后,http://localhost:8080/admin/为何打不开?请指教

发表于 2006-01-10 最后回复 2006-01-20

2005 sqlserver 中 VARCHAR在查询分析器怎吗不变为兰色?请大侠帮忙看看

发表于 2005-10-22 最后回复 2005-11-24

SqlCommand的问题,初学者。谢谢指导

发表于 2005-03-22 最后回复 2005-03-23

请问:我载visio中的选择宋体时,将其复制到WORD中,文字怎么变成了?;请指点 谢谢

发表于 2004-11-20 最后回复 2005-01-18

请问:我载visio中的选择宋体时,将其复制到WORD中,文字怎么变成了?;请指点 谢谢

发表于 2004-11-20 最后回复 2004-11-21

c# web 中连接数据库问题,请各位指点,谢谢

发表于 2004-09-09 最后回复 2004-09-09

数据多表连接问题,请指教

发表于 2004-09-01 最后回复 2004-09-04

我们刚开始使用VSS,服务器上已有我的用户,可是还是提示无权限?谢谢指点

发表于 2004-07-27 最后回复 2004-07-27

powerdesigner9.0工具讨论

发表于 2004-03-23 最后回复 2004-03-24

求救:连接服务在作业里不能使用

发表于 2004-02-20 最后回复 2004-02-20

为何menu.htm 的扩展名该为.jsp时为何出现编译错误

发表于 2004-01-30 最后回复 2004-01-30

请教: 我想在一个编辑框中当前的光标位置通过程序插入字符

发表于 2003-12-17 最后回复 2003-12-17

jbuilder 9.0安装问题

发表于 2003-10-30 最后回复 2003-11-01

请教 pb的string 的数据类型和ms sql的varchar的数据类型的问题

发表于 2003-10-29 最后回复 2003-10-29

pb8.0-9.0获取指定目录下的所有的文件和目录

发表于 2003-10-23 最后回复 2003-10-23

陕西省从2003年起系统分析员直接确认为高工

发表于 2003-10-13 最后回复 2003-10-13

怎样才能远程备份数据库

发表于 2003-09-29 最后回复 2003-09-30

请教 使用trigger一行的一个字段引用上一行的一个字段值

发表于 2003-09-17 最后回复 2003-09-18

计算机密码修改后,sql不能启动-请大虾指点

发表于 2003-09-04 最后回复 2003-09-04

高手请指教:jsp中怎样引用javascript的变量

发表于 2003-07-02 最后回复 2003-07-03

菜鸟:请问高手select组件在form提交后获得所有项

发表于 2003-06-28 最后回复 2003-06-28

湖南醴陵花炮厂爆炸系人为制造 死者有重大嫌疑

发表于 2003-06-28 最后回复 2003-06-28

菜鸟问题:有两个select 组件选择一个的一项自动增加到另一个里面

发表于 2003-06-27 最后回复 2003-06-27

菜鸟:select 组件自动增加项数

发表于 2003-06-27 最后回复 2003-06-27

求救:oracle的jdbc的问题

发表于 2003-06-20 最后回复 2003-06-20

求救:jsp树状视图原代码

发表于 2003-06-19 最后回复 2003-06-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除