2018年08月_fct2001140269

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

转载 Hadoop MapReduce原理及实例

转载自：https://blog.csdn.net/bingduanlbd/article/details/51924398 MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。1. 通俗理解MapReduceMapReduce的处理过程分为两个...

2018-08-22 09:23:17 307

转载最近经历的一些大数据（Spark/Hadoop）面试题

转载：http://www.360doc.com/content/17/0607/09/14808334_660689483.shtml 公司A：1.讲讲你做的过的项目。项目里有哪些难点重点注意点呢？2.讲讲多线程吧，要是你，你怎么实现一个线程池呢？3.讲一下Mapreduce或者hdfs的原理和机制。map读取数据分片。4.shuffle 是什么？怎么调优？5.项目...

2018-08-18 18:32:11 1535

转载史上最详细的Hadoop环境搭建

原文出处：https://gitbook.cn/books/5954c9600326c7705af8a92a/index.html GitChat 作者：鸣宇淳 原文： 史上最详细的Hadoop环境搭建 关注公众号：GitChat 技术杂谈，一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至...

2018-08-18 16:56:52 274

原创九个做事的顺序，你会更加优秀

九个做事的顺序，你会更加优秀：1.职场：先升值，再升职； 2.沟通：先求同，再存异； 3.执行：先完成，再完美； 4.学习：先记录，再记忆； 5.人际：先交流，再交心； 6投诉：先解决心情，再解决事情； 7.人生：先成长，后成功； 8.眼光：先站住，再站高； 9.产品：先仿造，再创造；...

2018-08-16 12:53:55 281

原创世界500强公司要求员工必须熟练掌握的七种工作方法

《世界500强公司要求员工必须熟练掌握的七种工作方法，收好不谢！》精选一工作讲究方法，找到了好方法可以让你的工作事半功倍，而没有头绪、没有计划、没有目标的工作形式则会让你身心俱疲还毫无成效。一流公司对于员工也有一流要求，今天小狐就与你来分享世界500强公司要求员工必须熟练掌握的七种工作方法，一起来学吧~SWOT分析法Strengths：优势Weaknesses：劣势Opp...

2018-08-16 12:46:18 6037

原创 Java开发必用的工具包

Java开发必用的工具包Java是最流行的开源语言之一。大量的公共工具包，提高开发效率！Apache Commons StringUtils ：java开发必备工具包，加速器。介绍几个StringUtils中的常用方法：equals 比较两个String是否相等，免去了频繁判断非null的麻烦isEmpty 判断String是否为null或者空字符串join(array...

2018-08-16 12:44:03 601

原创 30个常见的大数据面试题 --让你的薪资更上一层

30个常见的大数据面试题：包含spark、scala、storm、hadoop等常见的大数据处理工具；常用的分布式数据库如hbase、MongoDB、Redis等；其他常用的java基础、linux相关技术等1.scala 语言有什么特点，什么是函数式编程？有什么优点2.scala 伴生对象有什么作用3.scala 并发编程是怎么弄得，你对 actor 模型怎么理解有何...

2018-08-14 22:45:13 1721

原创什么是函数式编程

一、什么是函数式编程(FP）（1）函数式编程：它属于”结构化编程”的一种，主要思想是把运算过程尽量写成一系列嵌套的函数调用。函数编程语言最重要的基础是λ演算（lambda calculus），而且λ演算的函数可以接受函数当作输入（参数）和输出（返回值）。【补充：Lambda演算是通过一个函数来解决这个问题，而这个函数又是由一系列别的函数组成，这样递归下去，最终达到常量。有...

2018-08-12 23:17:41 1737 1

原创快速判断点在空间中的位置

重点内容【基于java空间包和geohash计算】一、点在多个区域mutiPolygon中位置(高效判断)问题1.怎样快速判断点在某个区域中？首先1.在指定多个区域Polygon中填充geohash【地理空间索引编码】值，例如一指定不规则多边形的区域A（Polygon）填充geohash值,其中geohash的精度可以根据速需要选择5位或者7位。问题2.如何...

2018-08-09 14:19:19 3951

flume从kafka读取数据，然后再sink到kafka中，这种场景下会出现问题。 (1)现象表示为： flume从kafka读取数据,sink的sinkTopic中没有数据，也无法从sinkTopic中读取数据； (2)原因分析: 如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events，便会遇到Kafka Topic覆盖问题，具体表现为，Kafka Source可以正常从指定的Topic中读取数据，但在Kafka Sink中配置的目标Topic不起作用，数据仍然会被写入到Source中指定的Topic中。

2019-07-12

aws-general.pdf

AWS 一般参考这是 Amazon Web Services 一般参考。内容 • AWS 区域和终端节点 (p. 2) • AWS 安全凭证 (p. 160) • Amazon 资源名称 (ARN) 和 AWS 服务命名空间 (p. 174) • 签署 AWS API 请求 (p. 212) • AWS 服务限制 (p. 248) • AWS 的 IP 地址范围 (p. 332) • AWS 中的错误重试和指数退避 (p. 340) • AWS 开发工具包对 Amazon S3 客户端加密的支持 (p. 342) • 需要 AWS 账户根用户凭

2019-07-12

Spark基本原理与设计思想

Spark是一个通用的并行计算框架，由加州伯克利大学（UC Berkeley）的AMP实验室开发于2009年，并于2010年开源，2013年成长为Apache旗下在大数据领域最活跃的开源项目之一。虽然Spark是一个通用的并行计算框架，但是Spark本质上也是一个基于map-reduce算法模型实现的分布式计算框架，Spark不仅拥有了Hadoop MapReduce的能力和优点，还解决了Hadoop MapReduce中的诸多性能缺陷。

2018-10-20

下一代消息中间件--pulsar

Apache Pulsar是一个企业级的分布式消息系统，最初由Yahoo开发并在2016年开源，目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多，主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。