IT晓白

一 内容总况为什么使用yml文件？和学习yml语法。SpringBoot的配置文件有两种，一种是properties结尾的，另一种是yml文件结尾的。1.application.properties2.application.yml默认情况下是properties结尾的配置文件配置文件放在src/resources目录或者类路径/config/下二 先弄清什么是yml文件？yml...

一、内容总况主要了解resources包下面的application.properties如何使用。二 、最常用配置1：自定义端口springBoot默认的端口是 8080# 自定义端口server.port=9090三 最常用配置2：改随机端口思考问题：固定端口为什么不能用？为什么要改随机端口？1.如果在一台服务器上，多个服务无果用一个端口会造成端口冲突2.在现实的微服务开发...

一、环境介绍1.操作环境：Windows 102.开发工具：IDEA-20183.JDK-1.84.SpringBoot版本：2.2.4二、创建一个SpringBoot项目步骤1：new创建一个Project步骤2：选择Spring Initializr 并选这个JDK的版本信息，点击下一步（注意点：这个前提必须要连接网络）步骤三、配置SpringBoot项目的基本信息，配置...

一、SpringBoot是什么？SpringBoot是伴随着Spring4.0诞生的；它于2014年4月，发布SpringBoot 1.0.0 。SpringBoot就是一个镶嵌web容器（Tomcat/jetty）可执行程序(jar)的框架。你开发的web应用不需要作为war包部署到web容器中，而是作为一个可执行程序，启动时把web服务器配置好，加载起来。二、SpringBoot退...

0.吧啦hive视图作用视图是基于数据库的基本表进行创建的它是一种伪表，数据库中储存视图的定义，不存数据项，数据项仍然存在基本表中它可作为一个抽象层，将数据发布给下游用户视图的作用：（1）可定义多表的连接、某些列或某些行可见，简化查询（2）视图只能查询，不能进行数据的插入和修改，可以提高数据的安全性1.创建视图1.1语法CREATE VIEW [ IF NOT EXISTS ] ...

问题描述：初次使用spring boot，启动时去出现了以下错误：Failed to configure a DataSource: 'spring.datasource.url' is not specified and no embedded datasource could be auto-configured.Reason: Failed to determine a suitable...

【问题一】问题还原：spring boot maven 报错 connected to the target VM, address: '127.0.0.1:28481', transport: 'socket'问题描述：idea 直接运行 springbootAplication 启动类，无法启动web项目，也没有报错信息。解决办法 ：1. 由于项目意外关闭，资源没有释放。结束系统的...

作用范围：下面方法仅仅适用于drop table，如果是delete 表中某些数据之后想要恢复请看这里，只需要三步。准备.查看数据库中，回收站里面存放的表名，以及drop table时的表名select object_name,original_name,type,droptime from user_recyclebin;方法一.根据drop table时删除的表名恢复表以及恢复...

1.查询数据库当前时间（目的是为了检查数据库时间是否与你电脑时间相近，避免时间不同而将数据恢复到错误时间点）select to_char(sysdate,'yyyy-mm-dd hh24:mi:ss') from dual;2、查询删除数据时间点之前的数据select * from 表名 as of timestamp to_timestamp('2019-11-10 11:00:00',...

hive表关联条件不支持不等值连接不等式：（>=,>,<=,<,<>,between..and）场景：oracle里面的SQL转化成hiveSQL中，关联时ON里面的条件如果含有不等值，那么在hive中不能直接使用，如果将不等式放在where条件中，造成下面描述问题： 直接将不等值连接放在where条件中会过滤掉主表的部分数据,解决方案：需要先通过i...

Flume 简介及基本使用一、Flume简介二、Flume架构和基本概念    2.1 基本架构    2.2 基本概念    2.3 组件种类三、Flume架构模式四、Flume配置格式五、Flume安装部署六、Flume使用案例一、Flume简介Ap...

Linux下Flume的安装一、前置条件Flume 需要依赖 JDK 1.8+，JDK 安装方式见本仓库：Linux 环境下 JDK 安装二 、安装步骤2.1 下载并解压下载所需版本的 Flume，这里我下载的是 CDH 版本的 Flume。下载地址为：http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压tar -zxvf flum...

甲骨文公司，全称甲骨文股份有限公司(甲骨文软件系统有限公司)，是全球最大的企业级软件公司，总部位于美国加利福尼亚州的红木滩。1989年正式进入中国市场。2013年，甲骨文已超越 IBM ，成为继 Microsoft 后全球第二大软件公司。【百度百科】

zero、exp与expdp命令区别说明1、exp和imp是客户端工具程序，它们既可以在客户端使用，也可以在服务端使用。2、expdp和impdp是服务端的工具程序，他们只能在oracle服务端使用，不能在客户端使用。3、imp只适用于exp导出的文件，不适用于expdp导出文件；impdp只适用于expdp导出的文件，而不适用于exp导出文件。4、对于10g以上的服务器，使用exp通常不...

一、陈述先说oracle中on与where的区别：1.在内连接即inner join中没有区别，2.在使用left jion时，on和where条件的区别如下：1、on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有leftjoin的含义（必须返回左边表的记录）了，条件不为真...

system默认:managersys默认:change_on_install使用SQL Plus登录数据库时，system使用密码manager可直接登录。但如果是sys用户，密码必须加上as sysdba，即完整密码为：change_on_installas sysdbasqlplus: alter user dbaName account unlock; 解锁登陆账号sqlplu...

一、安装前准备在安装Informatica之前，确保Oracle数据库已经安装好，并创建两个新用户：infa、infa_repo。两个用户分别用于后面配置Informatica(安装INFA过程中需要填入的用户)以及Informatica存储库服务（安装完成INFA后登录后台添加存储库的时候要配置的用户）。要在有dba权限的用户下面执行下面语句。1.创建用户说明：一个用于存储infa配置...

Flume 整合 Kafka一、背景先说一下，为什么要使用 Flume + Kafka？以实时流处理项目为例，由于采集的数据量可能存在峰值和峰谷，假设是一个电商项目，那么峰值通常出现在秒杀时，这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中，可能就会超过集群的处理能力，这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计，具有高吞吐的特...

集群资源管理器——YARN一、hadoop yarn 简介二、YARN架构        1. ResourceManager        2. NodeManager     ...

Linux下JDK的安装系统环境：centos 7.6JDK 版本：jdk 1.8.0_201. 下载并解压在官网 下载所需版本的 JDK，这里我下载的版本为JDK 1.8 ,下载后进行解压：[root@ luya03]# tar -zxvf jdk-8u201-linux-x64.tar.gz2. 设置环境变量[root@ luya03]# vi /etc/profile...

一、表1.在stg用户下查看table_name 表是否存在select * from table_name 2 在表所在用户执行（授权）grant select,update on table_name to wdb解释：在stg下执行上面语句，表示将stg用户下的table_name表的select,update权利授权给wdb用户。3.在想要操作的用户下执行create s...

Jar包使用maven添加依赖<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.8.2</version></dependency>...

Hive中用于扩展HiveSQL功能的用户自定义函数称为HiveUDF UDF又分为UDAF（用户自定义聚合函数），UDTF（用户自钉子表生成函数）

Informatica（纳斯达克代码：INFA）是全球领先的独立企业数据集成软件提供商。世界各地的组织机构依赖Informatica为其重要业务提供及时、相关和可信的数据，从而赢得竞争优势。

1.创建视图+给视图添加注释+给字段添加注释CREATE OR REPLACE VIEW STG.TA_TFUNDINFO ASSELECT C_FUNDCODE FROM TABLE_NAME;comment on table STG.TA_TFUNDINFO is '基本信息表';comment on column STG.TA_TFUNDINFO.C_FUNDCODE is '...

今天想给大家推荐一些免费下载破解软件的网站，希望能帮助到大家!第一个要推荐的就CSDN自己的下载资源网站:https://download.csdn.net/推荐的原因主要是资源够全,一般网上有的这里都有,而且下载的时候能看到其他下载者的真实评价,但是有点不好的就是对新人不太友好,虽然有很多免积分的,但是一些新的资源都需要积分,不过人人为我,我为人人,在这里赚扣分也是很简单的事,只要你能上...

1.ctrl+h快速打开替换界面，在Find界面输入^\s*(?=\r?$)
2.Alt+R选择Use Regular Expression(Alt+R)即正则表达式模式：3.选择Replace All(Ctrl+Alt+Enter)批量替换全部完成操作.ctrl+H^\s*(?=\r?$)
Alt+RCtrl+Alt+Enter另加一个notepad++no...

过期之后会发生下面错误信息：PLSQL Access violation at address 004287B0 in module 'plsqldev.exe'. Read of address 00000008.PL/SQL Developer过期了，又没有注册码，又不想花钱买，而且事情又非常急，这时候怎么办？不要着急，请随小编一起解决这种情况吧。环境 PL/SQL Dev...

测试数据Ipv4:192.168.1.1子网掩码：255.255.255.0网关：210.12.88.4bat脚本信息批注：将下面内容copy到TXT文件中，修改成自己想要的ip以及网关。之后修改文件后缀成bat格式，双击运行即可。（忽略中间出现的内容）@echo offtitle=IP快速设置程序@echo 设置IP color 1@echo 正在设置IP,...

1.设置【开发工具】菜单【文件】->【选项】->【自定义功能区】->【主选项卡】->勾选【开发工具】点击确定以后，导航菜单里增加一项【开发工具】2.自定义函数打开【开发工具】菜单，点击第一个【Visual Basic】,弹出代码窗口，在窗口左侧空白处，点击右键，选择【插入】->【模块】。窗口右侧出现一个白色背景框。复制粘贴如下内容到右侧框中...

一、SQL语句--查询表的数据条数、表名、中文表名select a.num_rows, a.TABLE_NAME, b.COMMENTSfrom user_tables a, user_tab_comments bWHERE a.TABLE_NAME = b.TABLE_NAMEorder by TABLE_NAME;二、测试...

环境 win7 oracle Pl/sql准备 一张表 lyz_emp步骤1.创建表 lyz_emp -- 创建表lyz_emp create table lyz_emp( e_id number(10) not null ,e_oldName varchar2(2) not null ,PR...

SQL脚本============================================自动生成表脚本文件============================================select 'CREATE TABLE IF NOT EXISTS &OWNER.' || table_name || chr(13) || '(' || RT...

环境win7oraclePl/SQL准备一张表 `LYZ_ZJQH_BB`表中有字段 --查看创建表 lyz_zjqh_bbselect * from lyz_zjqh_bb;一、添加添加表备注--给表添加注释COMMENT ON TABLE lyz_zjqh_bb is 'XXXXXXXXXXXXXXXX';添加表字段备注--给表字段添加注释comment...

DATAX简介DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。FeaturesDataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据...

查看free -hMem行（第一行）数据说明： Total：1035108KB。表示物理内存总大小。 Used：1008984KB。表示总计分配给缓存（包含buffers 与cache ）使用的数量，但其中可能部分缓存并未实际使用。 Free：26124KB。表示未被分配的内存。 Shared：0kb。共...

本文介绍了linux下的压缩程式tar、gzip、gunzip、bzip2、bunzip2、compress 、uncompress、 zip、 unzip、rar、unrar等程式，以及如何使用它们对.tar、.gz 、.tar.gz、.tgz、.bz2、.tar.bz2、.Z、. tar.Z、.zip、.rar这10种压缩文件进行操作Linux下最常用的打包程序就是tar了，使用tar程序打...

简介：anaconda3下载地址官网：https://www.anaconda.com/download/百度云链接：https://pan.baidu.com/s/17jHeU909P1pmITCkZg3tcQ 密码：javtpython基础语法文档官网：https://docs.python.org/3.6/tutorial/index.html为什么要使用python一、pyt...

搭建环境Zookeeper-3.4.6Scala-2.11Kafka_2.11-0.10.0.1.JDK-1.8下载地址:Zookeeper:http://mirror.bit.edu.cn/apache/zookeeper/current/Scala：http://www.scala-lang.org/download/2.11.8.htmlKafka:http://ka...

DataFrame原理与解析Spark SQL和DataFrame1、Spark SQL是Spark中的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象，就是DataFrame。同时Spark SQL还可以作为分布式的SQL查询引擎。Spark SQL最重要的功能之一，就是从Hive中查询数据。2、DataFrame就易用性而言，对比传统的MapReduce API，说Sp...

起因今天刷博客，突然看到‘刚下完代码，就被开除了’我就好奇点进去看了一下发现如下内容。别人评论这段代码本意是想要获取下一天的日期的。结果这位程序员老哥写了个sleep函数，SLEEP的作用是延时，程序暂停若干时间，在执行时要抛出一个中断异常，必须对其进行捕获并处理才可以使用这个函数。然后一群吧友纷纷进来吐槽。“你他娘的真实个天才，哈哈哈，你是怎么进的公司啊？”也有人表示佩服，觉得很有想...

存储过程与自定义函数的区别：1、存储过程实现的功能相对复杂，函数针对性较强2、存储过程可以返回多个值，函数只能有一个返回值3、存储过程一般独立执行，函数可以作为 sql 语句的组成部分来出现另外，存储过程也比通过API接口调用程序要快。...

问题描述IDEA运行scala程序报错：Error:scalac: bad option: '-make:transitive'详细截图解决方案：1）找到你该项目的所在目录，进入这个项目根目录下；2）进入.idea,并打开Scala_compiler.xml文件3）打开scala_compiler.xml文件，将此行&lt;parameter value="-m...

基本概述1、Spark 1.0版本以后，Spark官方推出了Spark SQL。其实最早使用的，都是Hadoop自己的Hive查询引擎；比如MR2，我们底层都是运行的MR2模型，底层都是基于Hive的查询引擎。2、后来Spark提供了Shark；再后来Shark被淘汰（Shark制约了Spark SQL的整体发展），推出了Spark SQL。Shark的性能比Hive就要高出一个数量级，而Sp...

一、创建测试表t_user2、user_t和t_result1、t_user2表结构如下：CREATE TABLE `t_user2` ( `id` int(11) DEFAULT NULL COMMENT 'id', `name` varchar(64) DEFAULT NULL COMMENT '用户名', `password` varchar(64) DEFAULT NULL...

依赖&lt;dependency&gt; &lt;groupId&gt;org.slf4j&lt;/groupId&gt; &lt;artifactId&gt;slf4j-log4j12&lt;/artifactId&gt; &lt;version&gt;1.7.10&lt;/version&gt;&lt;/dependency&gt; log4

一、问题说明在一个项目中同时引入了多个框架hbase 1.4.1kafka 1.1.0spark 2.3.0在以local模型运行spark示例程序的时候，出现如下报错：Exception in thread &quot;main&quot; java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/n...

1、sparkSQL层级当我们想用sparkSQL来解决我们的需求时，其实说简单也简单，就经历了三步：读入数据 -&gt; 对数据进行处理 -&gt; 写入最后结果，那么这三个步骤用的主要类其实就三个：读入数据和写入最后结果用到两个类HiveContext和SQLContext，对数据进行处理用到的是DataFrame类，此类是你把数据从外部读入到内存后，数据在内存中进行存储的基本数据结构，在...

1、sql语句的模块解析当我们写一个查询语句时，一般包含三个部分，select部分，from数据源部分，where限制条件部分，这三部分的内容在sql中有专门的名称：当我们写sql时，如上图所示，在进行逻辑解析时会把sql分成三个部分，project，DataSource，Filter模块，当生成执行部分时又把他们称为:Result模块、DataSource模块和Opertion模块。那...

本文主要讲了如何在阿里云上安装JDK、Tomcat、mysql以及其配置过程。最后以一个实例来演示在阿里云上部署Java web项目。部署环境JDK-jdk-8u141-linux-x64Tomcat-apache-tomcat-9.0.1Mysql-mysql_5.7Linux-CentOS6.8准备任务1.Java web项目2.centos安装与配置3.jdk安装与配置环...

本文讲述了在linux命令下导出导入.sql文件的方法。分享给大家供大家参考，具体如下：一、导出数据库用mysqldump命令（注意mysql的安装路径，即此命令的路径）：1、导出数据和表结构：mysqldump -u用户名 -p密码 数据库名 &amp;gt; 数据库名.sql#/usr/local/mysql/bin/ mysqldump -uroot -p abc &amp;gt; abc.sql...

1：先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql:/...

引入前面进行过wordcount的单词统计例子，关键是，如何对统计的单词按照单词个数来进行排序？如下：scala&amp;amp;amp;amp;gt; val retRDD = sc.textFile(&amp;amp;amp;quot;hdfs://ns1/hello&amp;amp;amp;quot;).flatMap(_.split(&amp;amp;amp;quot; &amp;amp;amp;quot;)).map((_, 1)).reduceByK

Spark RDD持久化RDD持久化工作原理Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并且在之后对该RDD的反复使用中，直接使用内存缓存的partition。这样的话，对于针对一个RDD反复执行多个操作的场景，就只要对RDD计算一次即可，后面直接使用该RDD，而不需要反复计算多次...

Spark基本工作原理Client客户端：我们在本地编写了spark程序，打成jar包，或python脚本,通过spark submit命令提交到Spark集群；只有Spark程序在Spark集群上运行才能拿到Spark资源，来读取数据源的数据进入到内存里；客户端就在Spark分布式内存中并行迭代地处理数据，注意每个处理过程都是在内存中并行迭代完成；注意：每一批节点上的每一批数据...

Spark算子概述RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集。RDD有两种操作算子：• Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作• Action（执行）：触发Spark作业的运行，真正触发...

1. 使用Idea新建项目：Scala+maven工程1.1. 新建project1.2. 新建module1.3. 添加scala1.4. 添加maven还是在上面那个窗口找到maven选中，点击OK配置maven并修改maven创库1.File–点击Settings2.说明如图中所示Scala+maven项目目录结构如下2. WordCount开...

flume 使用简单使用flume 场景1： 1、通过netcat发布消息 2、用flume接收netcat发布的消息，最终显示在终端 3、flume的channels是用内存存储的先定义flume-conf.properties.log 这样的文件#定义agent的配置 定义sources 定义channels 定义sinksa1.sources = r1a1.sink...

运行环境linux-CentOS6.8hadoop-2.7.5Scala-2.11.6jdk-1.8flink-1.7.1-bin-hadoop27-scala_2.11.tgzflink搭建1.下载下载地址：http://flink.apache.org/downloads.html根据自己集群环境的情况，下载相应的flink版本。上面描述我的集群环境是hadoop2.7...

最近负责的项目准备上大数据平台存储，主要还是围绕Hadoop平台来实现，虽然打算上cdh版本的hadoop，但是为了前期方便开发还是先使用原声的hadoop进行开发，后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的，如果需要使用其他用户操作，注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下h...

Spark RDD非常基本的说明，下面一张图就能够有基本的理解：Spark RDD基本说明1、Spark的核心概念是RDD (resilient distributed dataset，弹性分布式数据集)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区...

问题描述上传或者操作hdfs的文件时候遇到 node is in safe mode.（处于安全模式），处于这个模式虽然不能进行修改文件的操作，但是可以浏览目录结构、查看文件内容的。解决方案那就是退出安全模式离开安全模式，命令 hadoop dfsadmin -safemode leave扩展命令查看安全模式状态，命令 hadoop dfsadmin -safemode get...

一、基本环境Linux_CentOS6.8jdk1.8zookeeper-3.4.12二、单机模式的安装与配置2.1.下载zookeeper的tar包wget http://www-eu.apache.org/dist/zookeeper/current/zookeeper-3.4.12.tar.gz2.2.解压安装包到目标路径，并修改文件权限 tar -zxvf zookeep...

思路步骤：         1.定义工具类SpringUtil的静态方法和静态引用。    2.实现接口ApplicationContextAware的setApplicationContext方法。    3.spring容器会在创建该对象过程中，将自身引用注入对象中（Component注解，让spring扫描到该bean）。编码步骤1.编写springutil:imp...

spark单机安装部署1.安装scala1.下载：wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz2.解压：tar -zxvf scala-2.11.12.tgz -C /usr/local3.重命名：mv scala-2.10.5/ scala4.配置到环境变量：export SCALA_HOME...

什么是Spark?Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和...

maven概念Maven是一个项目管理和综合工具。Maven提供了开发人员构建一个完整的生命周期框架。开发团队可以自动完成项目的基础工具建设，Maven使用标准的目录结构和默认构建生命周期。创建maven项目可以点击这里。 方法一：使用maven-jar-plugin/ maven-dependency-plugin插件打包1. 添加依赖到lib目录，指定jar包主类 在pom...

前言：本文主要介绍如何将Flink以本地模式运行在单机上。运行环境Linux-CentOS6.8JDK-1.8hadoop-2.7.5flink-1.7.1-bin-hadoop27-scala_2.11flink安装配置过程1.下载1.1进入下载页面。如果你想让Flink与Hadoop进行交互（如HDFS或者HBase），请选择一个与你的Hadoop版本相匹配的Flink包。...

SSM（Spring、Spring MVC和Mybatis）如果你使用的是 Eclipse，请查看：许多童鞋现在开始学习这个流行的框架来进行Java开发，想要寻找一个最简单的SSM框架搭建方法，这里我不说什么废话，直接上手开始搭建，代码部分都做了详细的注释，可以快速上手！前提jdk 电脑安装jdk环境变量配置检查电脑中是否配置有JDK cmd命令窗口中，java -versio...

IntelliJ IDEA（2017/2018）安装和破解IDEA 全称 IntelliJ IDEA，是Java语言开发的集成环境，IntelliJ在业界被公认为最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(Git、svn、github等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能可以说是超常的。IDEA是JetBrain...

1.前提准备关闭防火墙：1. 永久性生效（这里需要重启机器才能生效 reboot）开启：chkconfig iptables on关闭：chkconfig iptables off（推荐）2. 即时生效，重启后失效开启：service iptables start关闭：service iptables stop3.查看状态service iptables statusJava...

安装环境：本文是在win10系统安装上VMWare并配置Centos6.8虚拟机。准备工作1.安装VMWare虚拟机1.1下载VMWare12资源链接：https://pan.baidu.com/s/1AhfMSDXLO-aA0eMqnuMWHg 提取码：iftd1.2安装VMWare，在安装过程中需要输入密钥，填写下面密钥即可，傻瓜式安装。5A02H-AU243-TZJ49-GTC7...

介绍容器是docker的另一个核心概念简单的来说，容器是镜像的一个运行实例，所不同的是它有额外的可写文件层。如果认为虚拟机是模拟运行的一整套操作系统（提供了运行态环境和其他系统环境）和跑在上面的应用。那么docker容器就是独立运行的一个或一组应用，以及它们的必须运行环境。查看容器列表通过docker ps命令查看正在运行的容器列表，需要查询所有的容器需要加-a参数：查询正在运行的容器...

镜像镜像是docker的三大核心概念之一docker运行容器前需要本地存在对应的镜像，如果镜像不存在本地，docker会尝试先从默认镜像仓库下载（默认使用docker Hub公共注册服务器中的仓库），用户也可以通过配置，使用自动以的镜像仓库。获取镜像获取镜像通过命令，docker pull完成比如获取Redis3.0.0的镜像第一步，需要到远程的仓库进行搜索https://hub.d...

安装docker建议第二种吧，第一种默认1.13版本的，用出bug来了,但别人用没事.第二种默认17.12的我们可以在Centos或者Ubuntu下安装docker，要注意的是，centos6对docker支持的不好，使用docker建议升级到centos7。centos7直接通过yum安装即可：yum install -y docker如果报错Is the docker daemon r...

docker简介docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。docker的应用我们之前是如何将项目发布到Linux服务器的？大致步骤如下：1、 安装jdk2、 安装tomcat3、 将项目war包上传到tomcat的webapps...

远程调用方式无论是微服务还是分布式服务（都是SOA，都是面向服务编程），都面临着服务间的远程调用。那么服务间的远程调用方式有哪些呢？常见的远程调用方式有以下几种：RPC：Remote Produce Call远程过程调用，类似的还有RMI（Remote Methods Invoke 远程方法调用，是JAVA中的概念，是JAVA十三大技术之一）。自定义数据格式，基于原生TCP通信，速度快，...

认识微服务系统架构演变集中式架构/单体应用垂直拆分分布式服务服务治理（SOA）系统架构演变随着互联网的发展，网站应用的规模不断扩大。需求的激增，带来的是技术上的压力。系统架构也因此也不断的演进、升级、迭代。从单一应用，到垂直拆分，到分布式服务，到SOA，以及现在火热的微服务架构，还有在Google带领下来势汹涌的Service Mesh。我们到底是该乘坐微服务的船只驶向远方，还是偏安...

HA是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

目录HivePigSparkStormHBaseSqoopHivePig和Hive的对比摘要: Pig Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hive Hive在Hado...

Apache Spark JavaRDD和任务解决好吧，我告诉我身边的每个人，如果你不知道map-reduce概念那么你就无法理解Apache Spark。为了证明这一点，让我们解决简单的任务。假设我们在城镇中有以下温度的文本文件：Prague 35Madrid 40Berlin 20Paris 15Rome 25位于Apache Hadoop HDFS文件系统，我们需要编写...

技能标签下载apache hive 安装包 进行apache-hive-1.2.1-bin.tar.gz安装 配置mysql存储元数据 配置HDFS存储 /user/hive/warehouse 该Hive版本1.2.1默认集成在(Spark1.6 到 Spark2.4)下载下载安装包apache-hive-1.2.1-bin.tar.gz: https://archive.ap...

当网上的那些修改程序池的方法，无法解决此问题时，可以尝试修改以下的参数：1.控制面板--&amp;gt;程序--&amp;gt;启用或关闭Windows功能--&amp;gt;Internet Information Services--&amp;gt;Web管理工具--&amp;gt;子项全部勾选上.2.Internet Information Services--&amp;gt;应用程序开发功能--&amp;gt;子项全部勾选上.重

相关依赖 &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.projectlombok&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;lombok&amp;lt;/artifactId&amp;gt; &amp;lt;version&amp;gt

程序员的工作和日常生活非常的枯燥，这里给大家推荐一些程序员经常使用的网站，也是我经常上的一些网站，尤其是前三个网站感觉用起来非常的舒服。我大致把这些网站分为三类，使用工具类，设计分享类，资讯交流类，业界良心类。希望能对大家有所帮助。1，Github代码托管（https://github.com/）作为开源代码库以及版本控制系统，Github拥有140多万开发者用户。随着越来越多的应用程序转移到...

Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。

Java 是由Sun Microsystems公司于1995年5月推出的高级程序设计语言。Java可运行于多个平台，如Windows, Mac OS，及其他多种UNIX版本的系统。本篇文章主要讲述我在java中遇到的问题以及总结。

JAVA中String类提供了转大写的方法toUpperCase()和转小写的方法toLowerCase()使用说明：String a = "ITXIAOBAI";system.out.println(a.toLowerCase());//itxiaobaiString b = "itxiaobai";system.out.println(b.toUpperCase());//ITXIA...

Java基础知识Java中常用算法：冒泡、选择、快速冒泡:两两比较，每一轮（0~length-i）挑出一个最值，并将其移除，循环遍历1~length 选择：外面定义从0~length-1，先选定一个最先面的下目标作为最小下标，将其所对应的值逐一与其他比较，如果有人小于这个值，将其下标交换位置，一轮下来，如果最小下标指向的值不再是刚定义的值，就将其所对应的值交换位置，循环遍历  里面...

1、fsimage和edit的区别？Namenode主要维护两个文件，一个是fsimage，一个是editlog。fsimage保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。editlog主要是在NameNode已经启动情况下对HDFS进...

1、fsimage和edit的区别？Namenode主要维护两个文件，一个是fsimage，一个是editlog。fsimage保存了最新的元数据检查点，包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于目录来说包括修改时间、访问权限控制信息(目录所属用户，所在组)等。editlog主要是在NameNode已经启动情况下对HDFS进...