- 博客(18)
- 收藏
- 关注
RSS订阅
原创 什么是容器 - docker（标准化软件单元）
一、将软件打包到标准化单元中，以进行开发，交付和部署。容器是打包代码及其所有依赖项的标准软件单元，因此应用程序可以从一个计算环境快速可靠地运行到另一个计算环境。Docker image是一个轻量级的，独立的，可执行的软件包，其中包含运行应用程序所需要的一切：代码，运行时，系统工具，系统库和设置。Docker image在运行时会成为容器，对于Docker容器，image会在Docker En...
2020-03-30 10:01:47
1510
原创 什么是Docker？为什么需要Docker？
一、什么是Docker？Docke基于Linux内核的cgroup，namespace,以及OverlayFS类的UnionFS等技术，对进程进行封装隔离，属于操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其他的隔离的进程，因此也称为容器。Docker在容器的基础上，进行了进一步的封装，从文件系统、网络互连到进程隔离等等，极大的简化了容器的创建和维护。二、为什么需要Docker更高...
2020-03-31 22:55:13
366
原创 什么是Linux内核
一、内核的定义底层驱动Kernel是整个操作系统的最底层，它负责整个硬件的驱动，以及提供各种系统所需的核心功能，包括防火墙机制、是否支持LVM或Quota等文件系统等，如果内核不认识某个最新的硬件，那么硬件也就无法被驱动，你也就无法使用该硬件。芯片控制计算机真正工作的东西其实是硬件，例如数值运算要使用到CPU、数据存储要使用到硬盘、图形显示会用到显示适配器、音乐发声要有音效芯片、连接In...
2020-03-29 14:54:36
1970
原创 简单理解DevOps
简单理解DevOps一、进入DevOps的-高速公路的三条车道老一派的软件开大团队成员会包含业务分析员，系统架构师，前段开发者，后端开发者，测试员，等等。优化如敏捷和精益原则等的软件开发流程的关注点就在这些地方。比如，软件一旦达到可以生产的程度，就会发到系统工程师、发布工程师、DBA、网络工程师，安全专家这些运维人员的手上。这里该如何将Dev(开发)和（运维）之间的鸿沟给填平，这就是DevOp...
2020-03-28 18:34:30
586
原创 Cassandra CAP理论
CAP理论要理解Cassandra的设计和它所谓的"最终一致性"数据库，首先需要理解CAP理论。一个大规模分布式数据系统中，有三个需求彼此循环依赖：一致性，可用性和分区容错性。一致性（Consistency）对于同样的查询，所有数据库客户端会读取同样的值，即使存在并发更新也要保证这一点。一致性级别是客户端每次操作时都必须指定的一个设置，可以通过这个设置来确定集群中有多少个副本完成写操...
2020-03-07 21:09:55
472
原创 Yarn资源调度理解
一、Yarn介绍Yarn是一个通过的资源管理平台，可为各个计算框架提供资源的管理和调度。其核心出发是为了分离资源管理与作业调度/监控，实现分离的做法是拥有一个全局的资源管理器（ResourceManager）,以及每个应用程序对应一个的应用管理器（ApplicationMater），应用程序由一个Job或者Job的又向无环图（DAG）组成。ResourceManager 和 Node...
2019-09-09 15:31:41
591
原创 MapReduce单词统计案例，WordCount
一、Mapduce概观（MapReduce是一个计算软件框架、可以在集群上并行处理数据集。）1.Hadoop MapReduce是一个软件框架，用于轻松编写应用程序，以可靠，容错的方式在大型集群（数千个节点）的商用硬件上并行处理大量数据（多TB数据集）。2.MapReduce是Hadoop的两大核心技术之一，HDFS解决了大数据存取问题，而MapReduce是对大数据的高效并行编程模...
2019-08-19 20:39:54
2724
原创 kafka消息队列理解
一、kafka简介Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。二、什么是kafka1.Kafka是一个分布式消息队列：生产者、消费者的...
2019-08-12 04:08:50
662
原创 关于Flume启动时报ERROR - org.apache.flume.sink.hdfs.BucketWriter.append(BucketWriter.java:526)] 错
2019-08-08 11:32:19,680 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.BucketWriter.append(BucketWriter.java:526)] Hit max consecutive under-replication rotations ...
2019-08-08 13:13:47
1432
原创 Spark中 DataFrame,DataSet,RDD
（1）DataSet和RDDRDD ：仅表示数据集，RDD 没有元数据，也就是说没有字段语义定义大数据的框架许多都要把内存中的数据往磁盘里写，所以DataSet取代rdd和dataframe。因为，现阶段底层序列化机制使用的是java的或者Kryo的形式。但是，java序列化出来的数据很大，影响存储Kryo对于小数据量的处理很好，但是数据量一大，又会出现问题，所以官方的解决方法是使用...
2019-08-05 21:59:27
291
原创 Spark常用算子总结
1.map、flatMap、distinctmap说明：将一个RDD中的每个数据项，通过map中的函数映射变成为一个新的元素，输入分区与输入分区一对一。即：有多少个输入分区，就有多少个输出分区。flatMap说明：同Map算子，最后将所有元素放到同一集合中：distinct说明：将RDD中重复元素做去重处理注意：针对Array[String]类型，将String对象视为字符串数组sc...
2019-08-02 00:18:13
2327
原创 在启动Spark时用start-master.sh和start-slaves出现以下错误:
master: failed to launch: nice -n 0 /home/hyxy/apps/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://master:7077master: full log in /home/hyxy/apps/spark/logs/s...
2019-07-25 18:31:45
2582
原创 shuffle流程理解
shuffle流程理解 什么是shuffle流程？ MapReduce确保每个reducer的输入都是按键排序的。系统执行排序，将map输出作为输入传给reducer的过程称为shuffle. 简单来说就是：从map输出开始，到reduce输入之前这个阶段。 如下图所示：如图所示大致分为5个阶段：1.Collect阶段 2.Spill阶段 3.Merge...
2019-06-02 22:12:24
1398
原创 如何在Eclipse上查看源码
如何在Eclipse上查看源码、我们在学习java时，有时候可以通过查看一些类的底层代码来更深入的了解方法和类的使用。以下介绍两种方法来帮助查看。方法1.按住快捷键Alt，然后将光标放在想要查看的方法和类名上。以String类举例点进去会进入String类的源码，如下图所示：有时候在按住Alt点进去我们会遇到这种情况如下图所示：备注：这是Eclip...
2019-04-24 23:16:04
11728
2
原创 MySQL数据库基本知识点
一、数据库概念1>数据库（database）,简称DB，按照某一特定数据结构来组织，存储数据的仓库。2>数据库管理系统（DataBase Management System）,简称DBMS是为了建立，操作和维护数据库而设计的一个程序。介于用户和数据库之间。3>使用SQL语言，通过DBMS来管理DB二、关系型数据库概念：所谓关系型数据库，指的就是表，或者表与表之...
2018-11-07 19:20:40
222
原创 JAVA基本数据类型
一.JAVA类型：JAVA分为两大类型：（1）基本数据类型 （2）引用类型二.JAVA基本数据类型JAVA的基本类型有8种，其类型可以分为四类。1.整数类型 2.浮点数类型 3.字符类型 4.布尔类型（1）整数类型:4种 1 byte :字节类型，是计算机中的数据的最小单位 8位二进制 表示范围： -128...
2018-08-08 16:29:37
206
原创 JAVA 开发环境简介
一.JDK介绍>> JDK：是JAVA语言的软件工具开发包，是整个JAVA开发的核心，他包含了JAVA的运行（JVM+JAVA类库）环境和JAVA工具。 1）JAVA运行环境介绍（JRE） JRE：开发完成JAVA程序所需要的环境（由以下两部分构成） 1.JVM:JAVA虚拟机 2.运行时所需要的类库...
2018-08-06 16:46:22
4464
原创 JAVA编写俄罗斯方块
JAVA编写俄罗斯方块一.分析游戏界面首先分析游戏界面，通过游戏界面，抽象出来几种类型。1.Cell类型2.Tetromino类型（七种组合的父类）3.根据父类定义出七种T,O,I,J,L,S,Z子类型（七种组合各自成一个类都继承于父类Tetromino）4.主类Tetris---extends JPanel(提供静态属性，加载静态资源)二.Cell类1.Cell类---俄罗斯方块中最小的最小单位...
2018-05-27 11:28:58
5446
9
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人