自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

fct2001140269的博客

如今你的气质里,藏着你走过的路,读过的书和爱过的人。” ——《卡萨布兰卡》

  • 博客(9)
  • 资源 (4)

转载 Hadoop MapReduce原理及实例

转载自:https://blog.csdn.net/bingduanlbd/article/details/51924398 MapReduce是用于数据处理的一种编程模型,简单但足够强大,专门为并行处理大数据而设计。1. 通俗理解MapReduceMapReduce的处理过程分为两个...

2018-08-22 09:23:17 66

转载 最近经历的一些大数据(Spark/Hadoop)面试题

转载:http://www.360doc.com/content/17/0607/09/14808334_660689483.shtml 公司A:1.讲讲你做的过的项目。 项目里有哪些 难点重点注意点呢?2.讲讲多线程吧, 要是你,你怎么实现一个线程池呢?3.讲一下Mapreduce或者hdfs的原理和机制。map读取数据分片。4.shuffle 是什么? 怎么调优?5.项目...

2018-08-18 18:32:11 1360

转载 史上最详细的Hadoop环境搭建

原文出处:https://gitbook.cn/books/5954c9600326c7705af8a92a/index.html GitChat 作者:鸣宇淳 原文: 史上最详细的Hadoop环境搭建 关注公众号:GitChat 技术杂谈,一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至...

2018-08-18 16:56:52 124

原创 九个做事的顺序,你会更加优秀

九个做事的顺序,你会更加优秀:1.职场:先升值,再升职; 2.沟通:先求同,再存异; 3.执行:先完成,再完美; 4.学习:先记录,再记忆; 5.人际:先交流,再交心; 6投诉:先解决心情,再解决事情; 7.人生:先成长,后成功; 8.眼光:先站住,再站高; 9.产品:先仿造,再创造;...

2018-08-16 12:53:55 142

原创 世界500强公司要求员工必须熟练掌握的七种工作方法

《世界500强公司要求员工必须熟练掌握的七种工作方法,收好不谢!》 精选一 工作讲究方法,找到了好方法可以让你的工作事半功倍,而没有头绪、没有计划、没有目标的工作形式则会让你身心俱疲还毫无成效。一流公司对于员工也有一流要求,今天小狐就与你来分享世界500强公司要求员工必须熟练掌握的七种工作方法,一起来学吧~SWOT分析法Strengths:优势Weaknesses:劣势Opp...

2018-08-16 12:46:18 3248

原创 Java开发必用的工具包

Java开发必用的工具包Java是最流行的开源语言之一。大量的公共工具包,提高开发效率!Apache Commons StringUtils :java开发必备工具包,加速器。介绍几个StringUtils中的常用方法:equals 比较两个String是否相等,免去了频繁判断非null的麻烦isEmpty 判断String是否为null或者空字符串join(array...

2018-08-16 12:44:03 369

原创 30个常见的大数据面试题 --让你的薪资更上一层

30个常见的大数据面试题:包含spark、scala、storm、hadoop等常见的大数据处理工具;常用的分布式数据库如hbase、MongoDB、Redis等;其他常用的java基础、linux相关技术等1.scala 语言有什么特点,什么是函数式编程?有什么优点2.scala 伴生对象有什么作用3.scala 并发编程是怎么弄得,你对 actor 模型怎么理解有何...

2018-08-14 22:45:13 1515

原创 什么是函数式编程

一、什么是函数式编程(FP)(1) 函数式编程: 它属于”结构化编程”的一种,主要思想是把运算过程尽量写成一系列嵌套的函数调用。 函数编程语言最重要的基础是λ演算(lambda calculus),而且λ演算的函数可以接受函数当作输入(参数)和输出(返回值)。【补充:Lambda演算是通过一个函数来解决这个问题,而这个函数又是由一系列别的函数组成,这样递归下去,最终达到常量。有...

2018-08-12 23:17:41 387 1

原创 快速判断点在空间中的位置

重点内容 【基于java空间包和geohash计算】一、点在多个区域mutiPolygon中位置(高效判断)问题1.怎样快速判断点在某个区域中?首先1.在指定多个区域Polygon中填充geohash【地理空间索引编码】值,例如一指定不规则多边形的区域A(Polygon)填充geohash值,其中geohash的精度可以根据速需要选择5位或者7位。问题2.如何...

2018-08-09 14:19:19 1349

kafka+flume+kafka中问题.pdf

flume从kafka读取数据,然后再sink到kafka中, 这种场景下会出现问题。 (1)现象表示为: flume从kafka读取数据,sink的sinkTopic中没有数据,也无法从sinkTopic中读取数据; (2)原因分析: 如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events,便会遇到Kafka Topic覆盖问题,具体 表现为,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标Topic不起作用,数据仍然 会被写入到Source中指定的Topic中。

2019-07-12

aws-general.pdf

AWS 一般参考 这是 Amazon Web Services 一般参考。 内容 • AWS 区域和终端节点 (p. 2) • AWS 安全凭证 (p. 160) • Amazon 资源名称 (ARN) 和 AWS 服务命名空间 (p. 174) • 签署 AWS API 请求 (p. 212) • AWS 服务限制 (p. 248) • AWS 的 IP 地址范围 (p. 332) • AWS 中的错误重试和指数退避 (p. 340) • AWS 开发工具包对 Amazon S3 客户端加密的支持 (p. 342) • 需要 AWS 账户根用户凭

2019-07-12

Spark基本原理与设计思想

Spark是一个通用的并行计算框架,由加州伯克利大学(UC Berkeley) 的AMP实验室开发于2009年,并于2010年开源,2013年成长为Apache旗下在大数据领域最活跃的开源项目之一。 虽然Spark是一个通用的并行计算框架,但是Spark本质上也是一个基于map-reduce算法模型实现的分布式计算框架,Spark不仅拥有了Hadoop MapReduce的能力和优点,还解决了Hadoop MapReduce中的诸多性能缺陷。

2018-10-20

下一代消息中间件--pulsar

Apache Pulsar是一个企业级的分布式消息系统,最初由Yahoo开发并在2016年开源,目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多,主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。

2018-10-20

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除