weixin_42118315-CSDN博客

转载 Git学习笔记

学习git之前，我们需要先明白一个概念版本控制！什么是版本控制版本控制（Revision control）是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史，方便查看更改历史记录，备份以便恢复以前的版本的软件工程技术。实现跨区域多人协同开发追踪和记载一个或者多个文件的历史记录组织和保护你的源代码和文档统计工作量并行开发、提高开发效率跟踪记录整个软件的开发过程减轻开发人员的负担，节省时间，同时降低人为错误简单说就是用于管理多人协同开发项目的技术。没有进行版本控制或者

2020-12-11 15:56:05 130

原创 Spring

Spring一、Spring简介1.Spring也是一款开源的框架结构，Spring框架在2004年发布的第一个版本，它的诞生是为了全面的简化Java企业级应用的开发。Spring框架的目的也是致力于全面的简化Java开发。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6i0UcKzf-1607599304135)(file:///C:\Users\ADMINI~1\AppData\Local\Temp\ksohtml6172\wps1.jpg)]2.Spring框架

2020-12-10 20:07:46 222

转载 [java加载机制整理]

[java加载机制整理]本文转载自jasonstorm的博客1.jvm 和类的关系当调用 java命令运行一个java程序时，必会启动一个jvm即java虚拟机。(5.6.处有联系！！)该java程序的所有线程，变量都处于jvm中，都使用该jvm的内存区jvm终止的情况：1.程序自然运行结束2.遇到System.exit();Runtime.getRuntime.exit();3.遇到未捕获异常或错误时4.程序所在的平台强制结束了JVM进程jvm终止，jvm内存中的数据全部丢失。举例

2020-11-24 09:27:15 80

原创 FastDFS的安装与集成

文件系统概述分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。计算机通过文件系统管理、存储数据，而信息爆炸时代中人们可以获取的数据成指数倍的增长，单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意。分布式文件系统可以有效解决数据的存储和管理难题：将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文

2020-11-12 09:10:53 231

原创 Scala编程学习笔记

概述Scala用一种简洁的高级语言将面向对象和函数式编程结合在一起。传统业务开发，领域模型设计（面向对象开发）; 大数据开发 - 数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。在面向对象计算数据的时候采取代码不动移动数据.在函数式编程计算的时候数据不动代码动。Scala是一门多范式的编程语言,同时支持面向对象和面向函数编程风格。它以一种优雅的方式解决现实问题。虽然它是强静态类型的编程语言，但是它强大的类型推断能力，使其看起来就像是一个动态编程语言一样。Scala语言最终会被翻译

2020-10-31 16:50:22 517

原创 Flume分布式日志采集学习笔记

Apache Flume概述Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。Flume构建在日志流之上一个简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。使用Flume这套架构实现对日志流数据的实时在线分析。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的

2020-10-31 16:40:08 126 1

原创 Sqoop辅助工具学习笔记

概述Apache Sqoop（TM）是一种旨在在Apache Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据的工具。通过内嵌的MapReduce程序实现关系型数据库和HDFS、Hbase、Hive等数据的倒入导出。安装1、访问sqoop的网址http://sqoop.apache.org/，选择相应的sqoop版本下载，本案例选择下载的是1.4.7，下载完相应的工具包后，解压Sqoop:[root@CentOS ~]# tar -zxf sqoop-1.4.7.bin__had

2020-10-31 16:34:04 123

原创 Kafka消息队列

概述Apache Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间解耦、异步通信、削峰填谷等场景。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的流处理框架不同，Kafka Streaming计算是运行在应用端，具有简单、入门要求低、部署方便等优点。总体来说Kafka这门课程需要大家掌握以下两个方面：消息队列Message QueueKafka Streaming 流处理消息队列是一种

2020-10-31 16:31:54 446 1

原创 JDK的安装

JDK的安装话不多少先上JDK1.8的安装包百度网盘下载地址链接：https://pan.baidu.com/s/1ICmv4Hz6kNWpTtyEV_Md1Q提取码：oyr0配置3个环境变量JAVA_HOME：JDK安装的目录。如：C:\Program Files\Java\jdk1.8.0_91PATH:JDK安装目录下的bin目录如：C:\Program Files\Java\jdk1.8.0_91\binCLASSPATH（类路径）：. 告诉JVM在哪里寻找编译之后生成的.

2020-10-27 09:13:17 1510 1

原创 Apache Hive

Apache Hive背景Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL-Extract-Transform-Load），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的HiveQL 语句通过解释器转换为提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。 Hive 并非为联机事务

2020-10-27 09:10:57 244 1

原创 Hbase分布式数据库笔记

介绍HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop的HDFS之上提供了类似于Bigtable的能力。HDFS和HBase之间的关系HBase的全称Hadoop Database，HBase是构建在HDFS之上的一款数据存储服务，所有的物理数据都是存储在HDFS之上，H.

2020-10-27 09:03:35 285

weixin_42118315的博客