自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

FightForProgrammer的专栏

拾起往日的时光

原创 spark java.lang.OutOfMemoryError: Java heap space

spark java.lang.OutOfMemoryError: Java heap space 经常遇到此问题,这个说得很详细 http://stackoverflow.com/questions/21138751/spark-java-lang-outofmemoryerro...

2015-11-14 17:57:11

阅读数 1451

评论数 0

原创 sql替换NOT IN语句

进来项目中用到很多sql的语句,其中有个需求: 有两个表table1、table2,需要找出table1中存在,而table2中不存在的数据。要求不能使用NOT IN语句。 举例:两表的数据如下:     现在要从table1中选出记录,记录的f3字段不在table2中出现。 一、...

2015-11-12 21:52:54

阅读数 3125

评论数 0

原创 spark问题归纳

spark问题归纳 一、说明 以下遇到的spark问题都是本人在实际过程中碰到的,可能并不适合所有的情况,可做参考,有异议欢迎讨论。 二、问题列表 2.1  Application history not found (app-20150821200352-0022)   No ev...

2015-08-24 11:05:59

阅读数 616

评论数 0

原创 欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富...

2015-08-01 17:25:28

阅读数 370

评论数 0

原创 Spark体系及RDD

Spark体系架构 Spark体系架构包括如下三个主要组件: 数据存储 API 管理框架 接下来让我们详细了解一下这些组件。 数据存储: Spark用HDFS文件系统存储数据。它可用于存储任何兼容于Hadoop的数据源,包括HDFS,HBase,Cassand...

2015-07-31 20:42:18

阅读数 744

评论数 0

原创 Spark API

Spark RDD API使用说明(一) 1、aggregate 1.1  函数声明 defaggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U)=> U): U 1.2函数说明 aggregate...

2015-07-31 20:16:38

阅读数 565

评论数 0

原创 Spark初探

Spark初探 一、Spark简介及特性 1.1什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。Spark为我们提供了一个全面、统一的框架用于...

2015-07-31 19:57:18

阅读数 512

评论数 0

原创 Spark streaming 初探

Spark streaming 初探  一、原理和运行场景 Spark Streaming运行原理图如下: Spark Streaming把Kafka、HDFS、Socket等系统作为流处理的数据来源,把输入的数据流用时间切片的方式把数据分为一个个小的Batch,然后把这些小的Batch交...

2015-07-28 16:07:02

阅读数 856

评论数 0

原创 Word Ladder

Given two words (beginWord and endWord), and a dictionary, find the length of shortest transformation sequence from beginWord to endWord, such that: ...

2015-06-21 17:21:59

阅读数 522

评论数 0

原创 LeetCode Word Break

LeetCode Word Break Given a string s and a dictionary of words dict, determine if s can be segmented into a space-separated sequence of one or m...

2015-06-10 09:57:42

阅读数 530

评论数 0

原创 LeetCode Maximal Square

LeetCode Maximal Square Given a 2D binary matrix filled with 0's and 1's, find the largest square containing all 1's and return its area. For exam...

2015-06-05 15:06:40

阅读数 414

评论数 0

原创 LeetCode Contains Duplicate II Contains Duplicate III

Contains Duplicate II   Contains Duplicate III 一、 Contains Duplicate II   Given an array of integers and an integer k, find out whether the...

2015-06-02 15:27:53

阅读数 500

评论数 0

原创 LeetCode Course Schedule

LeetCode Course Schedule There are a total of n courses you have to take, labeled from 0 to n - 1. Some courses may have prerequisites, for...

2015-05-31 10:41:54

阅读数 793

评论数 0

原创 LeetCode Word Search II

LeetCode Word Search II Given a 2D board and a list of words from the dictionary, find all words in the board. Each word must be constructed ...

2015-05-28 14:37:06

阅读数 897

评论数 0

原创 LeetCode Add and Search Word - Data structure design

Add and Search Word - Data structure design  Design a data structure that supports the following two operations: void addWord(word) bool search...

2015-05-21 14:59:53

阅读数 510

评论数 0

原创 LeetCode Implement Trie (Prefix Tree)

LeetCode Implement Trie (Prefix Tree) Implement a trie with insert, search, and startsWith methods. Note: You may assume that all inputs a...

2015-05-19 10:30:15

阅读数 444

评论数 0

原创 LeetCode Minimum Size Subarray Sum

LeetCode Minimum Size Subarray Sum Given an array of n positive integers and a positive integer s, find the minimal length of a subarray of whic...

2015-05-16 22:03:16

阅读数 662

评论数 0

原创 LeetCode LRU Cache

LeetCode LRU Cache Design and implement a data structure for Least Recently Used (LRU) cache. It should support the following operations: get an...

2015-05-15 15:52:09

阅读数 507

评论数 0

原创 vs2010 error link2019无法解析的外部符号

vs2010 error link2019无法解析的外部符号 一、动机 自己写的Dll库,然后对其进行引用,出现了题中所示的错误。使用了以下步骤的解决办法。 1、引入dll的头文件:属性-》c/c++-》常规-》附加包含目录,在框中加入dll的头文件 2、引入lib库目录:属性-》链接...

2015-05-11 21:36:07

阅读数 7980

评论数 0

原创 LeetCode House Robber

LeetCode House Robber You are a professional robber planning to rob houses along a street. Each house has a certain amount of money stashed, the...

2015-05-10 17:08:03

阅读数 608

评论数 0

提示
确定要删除当前文章?
取消 删除