自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

fct2001140269的博客

如今你的气质里,藏着你走过的路,读过的书和爱过的人。” ——《卡萨布兰卡》

  • 博客(10)
  • 资源 (4)
  • 收藏
  • 关注

转载 数据库面试题总结

1.数据库并发事务存在的问题(脏读、不可重复读、幻读等)数据库面试题参考:https://blog.csdn.net/weinierzui/article/details/71054964##常见面试题整理–数据库篇(每位开发者必备)转载自:https://zhuanlan.zhihu.com/p/23713529        知...

2018-07-26 22:26:10 215

转载 大数据分析的技术栈--Apache Kafka理解

序言Apache Kafka是一个分布式的流系统。Kafka作为流系统有下面的几个能力:作为消息处理系统,可以和我们EMS里面的Queue和Topic这些做一些类比。可以作为一个存储系统,因为是分布式的结构,所以存储能力是很强的。作为一个流处理系统,实现实时处理的需求。 本片文章主要...

2018-07-17 20:41:09 374

转载 大数据技术栈

大数据技术栈提到大数据,很多人可能都听说过4V - Big Volume, Big Velocity, Big Variety, Big Value,大数据从业人员的工作内容也都和这4个V中的某些内容密切相关。相比较传统的数据库技术,大数据的技术栈在过去几年取得非常迅速的发展,尤其是Hadoop和Spark已经构建了一个庞大的技术生态圈。文件系统方面,除了传统的行式存储,还有新的列式存...

2018-07-17 19:52:02 1986

转载 终于有人把云计算、大数据和人工智能讲明白了!

转载自http://baijiahao.baidu.com/s?id=1603870236361690230&wfr=spider&for=pc 芯联天下 百家号06-2116:33今天跟大家讲讲云计算、大数据和人工智能。为什么讲这三个东西呢?因为这三个东西现在非常火,并且它们之间好像互相有关系:一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时...

2018-07-17 19:47:55 618

转载 这些年,系统架构都经历了怎样的演变?

本文作者:李熠 当今技术的发展日新月异,系统架构也跟随技术的发展不断升级和改进,从传统的单一架构演变为如今的微服务分布式架构,我们来看看技术架构的演变过程。NO.1 初期网站架构网站建设初期,访问人数有限,数据量不大,只需要一台服务器足矣,这时应用程序、文件、数据库等所有资源全...

2018-07-11 21:50:56 133

原创 认知升级比单纯学习技能更重要

1、什么是认知性学习?所谓认知指的是你对这个世界,对身边环境,对于生活、学习与工作的认识以及所采取的行事方法与行事风格。2.现象为什么总有人说,一项技术只有在项目中实际用过了才能真正掌握,其实这里面暗暗隐含着『输出』这个环节。在项目中实际用过显然就是一种输出方式。但在项目中使用过仅仅是『输出』的一种方式而已,它并非全部,请勿一叶障目,不见树林。 一段时间没有使用或是没有再看这项技...

2018-07-11 21:21:38 400

原创 spark集群搭建

spark集群搭建完整的spark集群搭建方式 准备工作(以三台机器为例): 安装jdk,配置免密登陆,修改主机名,配置主机名与IP地址的映射一、准备工作安装scala 安装scala二、搭建hadoop集群(只需要启动hdfs即可)设置搭建hadoop(hdfs+mapReduce)参考: https://blog.csdn.net/gebitan505/...

2018-07-08 21:43:48 187

原创 mongoDB集群异常关闭后重新启动失败

mongoDB集群断电启动过程中常见的问题一、mongodb问题解决前使用说明该台主机mongodb安装目录为/usr/local/mongodb/ 三台主机构成一个mongo集群,以其中一台主机为例,./bin/master.conf 配置文件为:#master.conf dbpath=/data/mongodb/master1logpath=/usr/local/mong...

2018-07-03 15:02:27 4951

原创 shell脚本启动与停止storm集群

一、使用前准备工作介绍: 1.storm安装目录 /hadoop/apache-storm-1.1.0 2.配置好环境变量 3.三台主机(或者是虚拟机)修改了主机名、关闭了防火墙、并配置免密码登陆,主机IP与主机名的映射关系 stormfct1 192.168.11.111 stormfct2 192.168.11.112 stormfct3 192.168.11.113...

2018-07-02 09:04:10 2730

原创 shell脚本启动与关闭zookeeper集群

zookeeper集群shell脚本启动与关闭提示:适用于使用shell脚本控制zookeeper集群的启动与关闭:使用前准备工作介绍脚本介绍启动与关闭zk集群一、使用前准备工作介绍: 1.zookeeper安装目录/hadoop/zookeeper-3.4.10 2.配置好环境变量 3.三台主机(或者是虚拟机)修改了主机名、关闭了防火墙、并配...

2018-07-01 22:05:08 1941

kafka+flume+kafka中问题.pdf

flume从kafka读取数据,然后再sink到kafka中, 这种场景下会出现问题。 (1)现象表示为: flume从kafka读取数据,sink的sinkTopic中没有数据,也无法从sinkTopic中读取数据; (2)原因分析: 如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events,便会遇到Kafka Topic覆盖问题,具体 表现为,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标Topic不起作用,数据仍然 会被写入到Source中指定的Topic中。

2019-07-12

aws-general.pdf

AWS 一般参考 这是 Amazon Web Services 一般参考。 内容 • AWS 区域和终端节点 (p. 2) • AWS 安全凭证 (p. 160) • Amazon 资源名称 (ARN) 和 AWS 服务命名空间 (p. 174) • 签署 AWS API 请求 (p. 212) • AWS 服务限制 (p. 248) • AWS 的 IP 地址范围 (p. 332) • AWS 中的错误重试和指数退避 (p. 340) • AWS 开发工具包对 Amazon S3 客户端加密的支持 (p. 342) • 需要 AWS 账户根用户凭

2019-07-12

Spark基本原理与设计思想

Spark是一个通用的并行计算框架,由加州伯克利大学(UC Berkeley) 的AMP实验室开发于2009年,并于2010年开源,2013年成长为Apache旗下在大数据领域最活跃的开源项目之一。 虽然Spark是一个通用的并行计算框架,但是Spark本质上也是一个基于map-reduce算法模型实现的分布式计算框架,Spark不仅拥有了Hadoop MapReduce的能力和优点,还解决了Hadoop MapReduce中的诸多性能缺陷。

2018-10-20

下一代消息中间件--pulsar

Apache Pulsar是一个企业级的分布式消息系统,最初由Yahoo开发并在2016年开源,目前正在Apache基金会下孵化。Plusar已经在Yahoo的生产环境使用了三年多,主要服务于Mail、Finance、Sports、 Flickr、 the Gemini Ads platform、 Sherpa以及Yahoo的KV存储。

2018-10-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除