- 博客(22)
- 收藏
- 关注
RSS订阅转载 微服务（spring cloud配置中心）
1:理解bootstrap.yaml 它会在application之前加载，如果和application有同名属性，先启动的会被覆盖。 2：配置中心与我们的注册中心，必须要有一个先启动 3：spring的配置与环境化 在spring3.0-》 <beans profile...
2019-08-30 12:26:00
176
转载 微服务（微服务入门+eureka）
什么是微服务 大型系统架构中，会拆分多个子系统。简单来说，这些子系统有两个功能：提供接口、调用接口，在微服务架构中，将每一个这样的子系统称为一个“微服务”； 每一个服务会部署多个实例（就是多台机器，且会动态扩容，IP不固定）； 这种情况下，需要使用eureka进行服务管理。服务ID/名称...
2019-08-16 12:50:00
271
转载 大数据（kafka-及消息队列的应用场景）
进程间通信 进程通信的目的 数据传输 一个进程需要将它的数据发送给另一个进程，发送的数据量在一个字节到几M字节之间 共享数据 多个进程想要操作共享数据，一个进程对共享数据 通知事 一个进程需要向另一个或一组进程发送消息，通知它（它们）发生了某种事件（如进程终止时要通知父进程）。...
2019-07-26 18:18:00
516
转载 大数据（Spark-Spark Streaming的架构及原理）
流式计算 数据的时效性 日常工作中，我们一般会先把数据储存在一张表中，然后对这张表的数据进行加工、分析。既然数据要储存在表中，就有时效性这个概念。 如果我们处理的是年级别的数据，比如人口分析、宏观经济分析，那么数据最新日期距今晚个一两周、甚至一两个月都没什么关系。 如果我们处理的是天级别...
2019-07-26 18:06:00
303
转载 大数据（Spark-S3-SparkSQL架构及原理）
Spark SQL的发展 HDFS -> HIVE 由于Hadoop在企业生产中的大量使用，HDFS上积累了大量数据，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生。Hive的原理是将SQL语句翻译成MapReduce计算。 ...
2019-07-18 19:20:00
1295
转载 大数据（Spark-核心原理及架构）
Spark RDD特性 RDD（Resilient Distributed Datasets），弹性分布式数据集，它是对分布式数据集的一种内存抽象，通过受限的共享内存方式来提供容错性，同时这种内存模型使得计算比传统的数据流模型要高效。RDD具有5个重要的特性，如下图所示： 1.一组分...
2019-07-10 13:01:00
168
转载 大数据（Spark-基本概念）
Spark简介 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。目前已经形成一个高速发展应用广泛 的生态系统。 Apache Spark特性： 1，快速 大多数操作均在内存中迭代，只有少部分函数需要落地到磁盘。 2，易用性 支持...
2019-07-09 13:15:00
237
转载 大数据（kafka-原理及架构）
kafka背景及应用场景 由LinkedIn 公司开发的一个分布式的消息系统； 高吞吐率； 支持Kafka Server间的消息分区，及分布式消费； 同时支持离线数据处理和实时数据处理； 支持在线水平扩展。 kafka基本架构 k...
2019-07-02 19:24:00
140
转载 大数据（Hive-外部表分区）
1：定义 未被external修改的是内部表(MANAGED TABLE)，被external修饰的为外部表(EXTERNAL TABLE) 创建外部表语法： create external table person2( id int, nam...
2019-07-02 19:18:00
153
转载 Spring事务
Spring事务API介绍 JDBC编程中，事务如何管理？ JDBC 事务如何管理 编程式事务管理 Conneciton conn = getConnectioin(); conn.setAutoCommit(false); try { ...
2019-06-28 13:04:00
58
转载 大数据（Hive-搭建和基本使用）
Hive背景及应用场景 Hive是什么？ 由facebook开源，最初用于解决海量结构化的日志数据统计问题； ETL （Extraction-Transformation-Loading ）工具 构建在Hadoop之上的数据仓库； 数据计算使用MR ，数据存储使用HDFS ...
2019-06-27 12:49:00
68
转载 大数据（HBase-编程java api）
开发环境搭建步骤 1：解压下载下来的hbase的安装包 2：配置windows的hosts文件，地址：C:\Windows\System32\drivers\etc 配置虚拟机的ip对应的主机名 比如： 192.168.153.115 hm02 1...
2019-06-26 12:49:00
134
转载 大数据（HBase-分布式安装和基本命令使用）
分布式搭建 1：下载官网对应的hbase的版本 地址：http://archive.apache.org/dist/hbase/1.2.3/ 2：上传对应的版本到主节点并解压 3：配置hbase的环境变量 export HBASE_HOME=/home/hadoop/b...
2019-06-26 12:42:00
56
转载 大数据（HBase-应用场景、原理与基本架构）
Hbase概述 HBase是一个构建在HDFS上的分布式列存储系统； HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储 从逻辑上讲， HBase将数据按照表、行和列进行存储。 Hbase是Hadoop生态系统的一个组...
2019-06-25 12:44:00
198
转载 应用框架（Spring-boot 启动过程与工作原理）
入口SpringApplication.run() @SpringBootApplicationpublic class SpringBootStudyConfigApplication public static void main(String[] args) { ...
2019-06-24 13:23:00
148
转载 应用框架（Spring-Boot入门与Starter）
Spring-Boot入门 Spring Boot 应用架构部署 了解Spring boot starter parent 我们的应用pom会从spring-boot-starter-parent继承什么？ ...
2019-06-19 19:58:00
124
转载 大数据（hadoop-数据入库系统Sqoop原理架构）
Sqoop是什么 Sqoop：SQL-to-Hadoop 连接传统关系型数据库和Hadoop的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中； 把数据从 Hadoop 系统里抽取并导出到关系型数据库里。 利用Map...
2019-06-17 19:54:00
453
转载 大数据（hadoop-flume案例讲解）
a2.cnf #定义agent名称，source，channel，sink的名称#a1就是我们给agent起的名字，我们知道有多个agent，那么我们就是通过这个来进行区别#我们知道agent包含了三个重要的组件，有source，channel，sink#那么我们也给这个...
2019-06-14 19:28:00
124
转载 大数据（hadoop-flume的原理架构）
背景介绍 Hadoop提供了一个中央化的存储系统 有利于进行集中式的数据分析与数据共享 Hadoop对存储格式没有要求： 用户访问日志 产品信息 网页数据等 如何将数据存入Hadoop： 数据分散在各个离散的设备上 数据保存在传统的存储设备和系统中 ...
2019-06-13 19:14:00
89
转载 大数据（hadoop-分布式搭建和yarn）
分布式搭建步骤 1：克隆一台机器完成后，按以下步骤进行修改（作为源克隆主机） 1）修改网卡信息，路径/etc/sysconfig/network-scripts 2）删除70-persistent-net.rules这个文件，路径在：/etc/udev/rules.d ...
2019-06-12 19:27:00
166
转载 大数据（hadoop-自定义数据类型、文件格式）
自定义InputFormat OutputFormat 示例代码 package com.vip09;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;...
2019-06-11 19:13:00
486
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人