SpringBoot系列之第三章-YML配置讲解 一 内容总况为什么使用yml文件?和学习yml语法。SpringBoot的配置文件有两种,一种是properties结尾的,另一种是yml文件结尾的。1.application.properties2.application.yml默认情况下是properties结尾的配置文件配置文件放在src/resources目录或者类路径/config/下二 先弄清什么是yml文件?yml...
SpringBoot系列之第二章-常用配置 一、内容总况主要了解resources包下面的application.properties如何使用。二 、最常用配置1:自定义端口springBoot默认的端口是 8080# 自定义端口server.port=9090三 最常用配置2:改随机端口思考问题:固定端口为什么不能用?为什么要改随机端口?1.如果在一台服务器上,多个服务无果用一个端口会造成端口冲突2.在现实的微服务开发...
SpringBoot系列之第一章-入门案例 一、环境介绍1.操作环境:Windows 102.开发工具:IDEA-20183.JDK-1.84.SpringBoot版本:2.2.4二、创建一个SpringBoot项目步骤1:new创建一个Project步骤2:选择Spring Initializr 并选这个JDK的版本信息,点击下一步(注意点:这个前提必须要连接网络)步骤三、配置SpringBoot项目的基本信息,配置...
为什么越来越多的开发者选择使用SpringBoot? 一、SpringBoot是什么?SpringBoot是伴随着Spring4.0诞生的;它于2014年4月,发布SpringBoot 1.0.0 。SpringBoot就是一个镶嵌web容器(Tomcat/jetty)可执行程序(jar)的框架。你开发的web应用不需要作为war包部署到web容器中,而是作为一个可执行程序,启动时把web服务器配置好,加载起来。二、SpringBoot退...
hive视图使用案例 0.吧啦hive视图作用视图是基于数据库的基本表进行创建的它是一种伪表,数据库中储存视图的定义,不存数据项,数据项仍然存在基本表中它可作为一个抽象层,将数据发布给下游用户视图的作用:(1)可定义多表的连接、某些列或某些行可见,简化查询(2)视图只能查询,不能进行数据的插入和修改,可以提高数据的安全性1.创建视图1.1语法CREATE VIEW [ IF NOT EXISTS ] ...
Spring boot搭建启动时,启动失败,原因:Failed to determine a suitable driver class 问题描述:初次使用spring boot,启动时去出现了以下错误:Failed to configure a DataSource: 'spring.datasource.url' is not specified and no embedded datasource could be auto-configured.Reason: Failed to determine a suitable...
错误汇总Connected to the target VM, address: '127.0.0.1:XXXX', transport: 'socket'; 【问题一】问题还原:spring boot maven 报错 connected to the target VM, address: '127.0.0.1:28481', transport: 'socket'问题描述:idea 直接运行 springbootAplication 启动类,无法启动web项目,也没有报错信息。解决办法 :1. 由于项目意外关闭,资源没有释放。结束系统的...
Oracle中Drop Table之后想恢复?来看这里[只要二步] 作用范围:下面方法仅仅适用于drop table,如果是delete 表中某些数据之后想要恢复请看这里,只需要三步。准备.查看数据库中,回收站里面存放的表名,以及drop table时的表名select object_name,original_name,type,droptime from user_recyclebin;方法一.根据drop table时删除的表名恢复表以及恢复...
Oracle中Delete数据之后想恢复?来看这里[只要三步] 1.查询数据库当前时间(目的是为了检查数据库时间是否与你电脑时间相近,避免时间不同而将数据恢复到错误时间点)select to_char(sysdate,'yyyy-mm-dd hh24:mi:ss') from dual;2、查询删除数据时间点之前的数据select * from 表名 as of timestamp to_timestamp('2019-11-10 11:00:00',...
hive表关联条件不支持不等值连接 hive表关联条件不支持不等值连接不等式:(>=,>,<=,<,<>,between..and)场景:oracle里面的SQL转化成hiveSQL中,关联时ON里面的条件如果含有不等值,那么在hive中不能直接使用,如果将不等式放在where条件中,造成下面描述问题: 直接将不等值连接放在where条件中会过滤掉主表的部分数据,解决方案:需要先通过i...
Flume简介及基本使用 Flume 简介及基本使用一、Flume简介二、Flume架构和基本概念 2.1 基本架构 2.2 基本概念 2.3 组件种类三、Flume架构模式四、Flume配置格式五、Flume安装部署六、Flume使用案例一、Flume简介Ap...
Linux下Flume的安装 Linux下Flume的安装一、前置条件Flume 需要依赖 JDK 1.8+,JDK 安装方式见本仓库:Linux 环境下 JDK 安装二 、安装步骤2.1 下载并解压下载所需版本的 Flume,这里我下载的是 CDH 版本的 Flume。下载地址为:http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压tar -zxvf flum...
oracle遇到问题总结 甲骨文公司,全称甲骨文股份有限公司(甲骨文软件系统有限公司),是全球最大的企业级软件公司,总部位于美国加利福尼亚州的红木滩。1989年正式进入中国市场。2013年,甲骨文已超越 IBM ,成为继 Microsoft 后全球第二大软件公司。【百度百科】
使用expdp完成自动备份数据库案例以及遇到的问题 zero、exp与expdp命令区别说明1、exp和imp是客户端工具程序,它们既可以在客户端使用,也可以在服务端使用。2、expdp和impdp是服务端的工具程序,他们只能在oracle服务端使用,不能在客户端使用。3、imp只适用于exp导出的文件,不适用于expdp导出文件;impdp只适用于expdp导出的文件,而不适用于exp导出文件。4、对于10g以上的服务器,使用exp通常不...
oracle中on与where、having的区别 一、陈述先说oracle中on与where的区别:1.在内连接即inner join中没有区别,2.在使用left jion时,on和where条件的区别如下:1、on条件是在生成临时表时使用的条件,它不管on中的条件是否为真,都会返回左边表中的记录。2、where条件是在临时表生成好后,再对临时表进行过滤的条件。这时已经没有leftjoin的含义(必须返回左边表的记录)了,条件不为真...
ORA-28000: the account is locked以及权限问题 system默认:managersys默认:change_on_install使用SQL Plus登录数据库时,system使用密码manager可直接登录。但如果是sys用户,密码必须加上as sysdba,即完整密码为:change_on_installas sysdbasqlplus: alter user dbaName account unlock; 解锁登陆账号sqlplu...
Informatica PowerCenter 产品安装9.6.1 一、安装前准备在安装Informatica之前,确保Oracle数据库已经安装好,并创建两个新用户:infa、infa_repo。两个用户分别用于后面配置Informatica(安装INFA过程中需要填入的用户)以及Informatica存储库服务(安装完成INFA后登录后台添加存储库的时候要配置的用户)。要在有dba权限的用户下面执行下面语句。1.创建用户说明:一个用于存储infa配置...
Flume整合Kafka Flume 整合 Kafka一、背景先说一下,为什么要使用 Flume + Kafka?以实时流处理项目为例,由于采集的数据量可能存在峰值和峰谷,假设是一个电商项目,那么峰值通常出现在秒杀时,这时如果直接将 Flume 聚合后的数据输入到 Storm 等分布式计算框架中,可能就会超过集群的处理能力,这时采用 Kafka 就可以起到削峰的作用。Kafka 天生为大数据场景而设计,具有高吞吐的特...
Linux下JDK安装 Linux下JDK的安装系统环境:centos 7.6JDK 版本:jdk 1.8.0_201. 下载并解压在官网 下载所需版本的 JDK,这里我下载的版本为JDK 1.8 ,下载后进行解压:[root@ luya03]# tar -zxvf jdk-8u201-linux-x64.tar.gz2. 设置环境变量[root@ luya03]# vi /etc/profile...
Oracle中表与包体用户没有操作权限问题 一、表1.在stg用户下查看table_name 表是否存在select * from table_name 2 在表所在用户执行(授权)grant select,update on table_name to wdb解释:在stg下执行上面语句,表示将stg用户下的table_name表的select,update权利授权给wdb用户。3.在想要操作的用户下执行create s...
String类型转Json对象并获取指定数据 Jar包使用maven添加依赖<dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.8.2</version></dependency>...
记录使用Informatica的基本流程 Informatica(纳斯达克代码:INFA)是全球领先的独立企业数据集成软件提供商。世界各地的组织机构依赖Informatica为其重要业务提供及时、相关和可信的数据,从而赢得竞争优势。
Oracle中视图的基本操作 1.创建视图+给视图添加注释+给字段添加注释CREATE OR REPLACE VIEW STG.TA_TFUNDINFO ASSELECT C_FUNDCODE FROM TABLE_NAME;comment on table STG.TA_TFUNDINFO is '基本信息表';comment on column STG.TA_TFUNDINFO.C_FUNDCODE is '...
【转】推荐几个免费下载破解软件的网站以及系统 今天想给大家推荐一些免费下载破解软件的网站,希望能帮助到大家!第一个要推荐的就CSDN自己的下载资源网站:https://download.csdn.net/推荐的原因主要是资源够全,一般网上有的这里都有,而且下载的时候能看到其他下载者的真实评价,但是有点不好的就是对新人不太友好,虽然有很多免积分的,但是一些新的资源都需要积分,不过人人为我,我为人人,在这里赚扣分也是很简单的事,只要你能上...
visual studio code 批量去除文本中空行 1.ctrl+h快速打开替换界面,在Find界面输入^\s*(?=\r?$)2.Alt+R选择Use Regular Expression(Alt+R)即正则表达式模式:3.选择Replace All(Ctrl+Alt+Enter)批量替换全部完成操作.ctrl+H^\s*(?=\r?$)Alt+RCtrl+Alt+Enter另加一个notepad++no...
【转】如何解决PL/SQL Developer过期的情况 过期之后会发生下面错误信息:PLSQL Access violation at address 004287B0 in module 'plsqldev.exe'. Read of address 00000008.PL/SQL Developer过期了,又没有注册码,又不想花钱买,而且事情又非常急,这时候怎么办?不要着急,请随小编一起解决这种情况吧。环境 PL/SQL Dev...
wind使用bat脚本一键设置静态ip 测试数据Ipv4:192.168.1.1子网掩码:255.255.255.0网关:210.12.88.4bat脚本信息批注:将下面内容copy到TXT文件中,修改成自己想要的ip以及网关。之后修改文件后缀成bat格式,双击运行即可。(忽略中间出现的内容)@echo offtitle=IP快速设置程序@echo 设置IP color 1@echo 正在设置IP,...
excel 获取中文首字母缩写 1.设置【开发工具】菜单【文件】->【选项】->【自定义功能区】->【主选项卡】->勾选【开发工具】点击确定以后,导航菜单里增加一项【开发工具】2.自定义函数打开【开发工具】菜单,点击第一个【Visual Basic】,弹出代码窗口,在窗口左侧空白处,点击右键,选择【插入】->【模块】。窗口右侧出现一个白色背景框。复制粘贴如下内容到右侧框中...
查询表的数据条数+表名+中文表名 一、SQL语句--查询表的数据条数、表名、中文表名select a.num_rows, a.TABLE_NAME, b.COMMENTSfrom user_tables a, user_tab_comments bWHERE a.TABLE_NAME = b.TABLE_NAMEorder by TABLE_NAME;二、测试...
Oracle修改表字段以及表类型 环境 win7 oracle Pl/sql准备 一张表 lyz_emp步骤1.创建表 lyz_emp -- 创建表lyz_emp create table lyz_emp( e_id number(10) not null ,e_oldName varchar2(2) not null ,PR...
Oracle自动生成根据源表迁移到HIVE创表语句 SQL脚本============================================自动生成表脚本文件============================================select 'CREATE TABLE IF NOT EXISTS &OWNER.' || table_name || chr(13) || '(' || RT...
Oracle添加字段备注以及查询 环境win7oraclePl/SQL准备一张表 `LYZ_ZJQH_BB`表中有字段 --查看创建表 lyz_zjqh_bbselect * from lyz_zjqh_bb;一、添加添加表备注--给表添加注释COMMENT ON TABLE lyz_zjqh_bb is 'XXXXXXXXXXXXXXXX';添加表字段备注--给表字段添加注释comment...
DataX环境部署以及测试案例 DATAX简介DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。FeaturesDataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据...
linux 内存使用情况以及释放 查看free -hMem行(第一行)数据说明: Total:1035108KB。表示物理内存总大小。 Used:1008984KB。表示总计分配给缓存(包含buffers 与cache )使用的数量,但其中可能部分缓存并未实际使用。 Free:26124KB。表示未被分配的内存。 Shared:0kb。共...
linux下tar.gz、tar、bz2、zip等解压缩、压缩命令小结 本文介绍了linux下的压缩程式tar、gzip、gunzip、bzip2、bunzip2、compress 、uncompress、 zip、 unzip、rar、unrar等程式,以及如何使用它们对.tar、.gz 、.tar.gz、.tgz、.bz2、.tar.bz2、.Z、. tar.Z、.zip、.rar这10种压缩文件进行操作Linux下最常用的打包程序就是tar了,使用tar程序打...
Python三部曲 简介:anaconda3下载地址官网:https://www.anaconda.com/download/百度云链接:https://pan.baidu.com/s/17jHeU909P1pmITCkZg3tcQ 密码:javtpython基础语法文档官网:https://docs.python.org/3.6/tutorial/index.html为什么要使用python一、pyt...
Kafka部署 搭建环境Zookeeper-3.4.6Scala-2.11Kafka_2.11-0.10.0.1.JDK-1.8下载地址:Zookeeper:http://mirror.bit.edu.cn/apache/zookeeper/current/Scala:http://www.scala-lang.org/download/2.11.8.htmlKafka:http://ka...
12-DataFrame编程模型与操作案例 DataFrame原理与解析Spark SQL和DataFrame1、Spark SQL是Spark中的一个模块,主要用于进行结构化数据的处理。它提供的最核心的编程抽象,就是DataFrame。同时Spark SQL还可以作为分布式的SQL查询引擎。Spark SQL最重要的功能之一,就是从Hive中查询数据。2、DataFrame就易用性而言,对比传统的MapReduce API,说Sp...
获取下一天日期 起因今天刷博客,突然看到‘刚下完代码,就被开除了’我就好奇点进去看了一下发现如下内容。别人评论这段代码本意是想要获取下一天的日期的。结果这位程序员老哥写了个sleep函数,SLEEP的作用是延时,程序暂停若干时间,在执行时要抛出一个中断异常,必须对其进行捕获并处理才可以使用这个函数。然后一群吧友纷纷进来吐槽。“你他娘的真实个天才,哈哈哈,你是怎么进的公司啊?”也有人表示佩服,觉得很有想...
存储过程与自定义函数的区别 存储过程与自定义函数的区别:1、存储过程实现的功能相对复杂,函数针对性较强2、存储过程可以返回多个值,函数只能有一个返回值3、存储过程一般独立执行,函数可以作为 sql 语句的组成部分来出现另外,存储过程也比通过API接口调用程序要快。...
IDEA运行scala程序:Error:scalac: bad option: '-make:transitive' 问题描述IDEA运行scala程序报错:Error:scalac: bad option: '-make:transitive'详细截图解决方案:1)找到你该项目的所在目录,进入这个项目根目录下;2)进入.idea,并打开Scala_compiler.xml文件3)打开scala_compiler.xml文件,将此行<parameter value="-m...
11-SparkSQL整体背景 基本概述1、Spark 1.0版本以后,Spark官方推出了Spark SQL。其实最早使用的,都是Hadoop自己的Hive查询引擎;比如MR2,我们底层都是运行的MR2模型,底层都是基于Hive的查询引擎。2、后来Spark提供了Shark;再后来Shark被淘汰(Shark制约了Spark SQL的整体发展),推出了Spark SQL。Shark的性能比Hive就要高出一个数量级,而Sp...
10-SparkSQL读取mysql数据源并将结果写回mysql 一、创建测试表t_user2、user_t和t_result1、t_user2表结构如下:CREATE TABLE `t_user2` ( `id` int(11) DEFAULT NULL COMMENT 'id', `name` varchar(64) DEFAULT NULL COMMENT '用户名', `password` varchar(64) DEFAULT NULL...
log4j.properties 依赖<dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.10</version></dependency> log4
Spark2.3 - 运行异常NoSuchMethodError:io.netty.buffer.PooledByteBufAllocator.metric() 一、问题说明在一个项目中同时引入了多个框架hbase 1.4.1kafka 1.1.0spark 2.3.0在以local模型运行spark示例程序的时候,出现如下报错:Exception in thread "main" java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/n...
09-SparkSql实战 1、sparkSQL层级当我们想用sparkSQL来解决我们的需求时,其实说简单也简单,就经历了三步:读入数据 -> 对数据进行处理 -> 写入最后结果,那么这三个步骤用的主要类其实就三个:读入数据和写入最后结果用到两个类HiveContext和SQLContext,对数据进行处理用到的是DataFrame类,此类是你把数据从外部读入到内存后,数据在内存中进行存储的基本数据结构,在...
08-SparkSql架构 1、sql语句的模块解析当我们写一个查询语句时,一般包含三个部分,select部分,from数据源部分,where限制条件部分,这三部分的内容在sql中有专门的名称:当我们写sql时,如上图所示,在进行逻辑解析时会把sql分成三个部分,project,DataSource,Filter模块,当生成执行部分时又把他们称为:Result模块、DataSource模块和Opertion模块。那...
部署web项目到Linux服务器上(亲测) 本文主要讲了如何在阿里云上安装JDK、Tomcat、mysql以及其配置过程。最后以一个实例来演示在阿里云上部署Java web项目。部署环境JDK-jdk-8u141-linux-x64Tomcat-apache-tomcat-9.0.1Mysql-mysql_5.7Linux-CentOS6.8准备任务1.Java web项目2.centos安装与配置3.jdk安装与配置环...
在linux命令下导出导入.sql文件的方法 本文讲述了在linux命令下导出导入.sql文件的方法。分享给大家供大家参考,具体如下:一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):1、导出数据和表结构:mysqldump -u用户名 -p密码 数据库名 &gt; 数据库名.sql#/usr/local/mysql/bin/ mysqldump -uroot -p abc &gt; abc.sql...
用sqoop将mysql的数据导入到hive表中的两种方式(亲测) 1:先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql:/...
07-Spark高级排序与TopK问题揭秘 引入前面进行过wordcount的单词统计例子,关键是,如何对统计的单词按照单词个数来进行排序?如下:scala&amp;amp;amp;gt; val retRDD = sc.textFile(&amp;amp;quot;hdfs://ns1/hello&amp;amp;quot;).flatMap(_.split(&amp;amp;quot; &amp;amp;quot;)).map((_, 1)).reduceByK
06-spark RDD持久性、广播变量和累加器 Spark RDD持久化RDD持久化工作原理Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时,每个节点都会将自己操作的RDD的partition持久化到内存中,并且在之后对该RDD的反复使用中,直接使用内存缓存的partition。这样的话,对于针对一个RDD反复执行多个操作的场景,就只要对RDD计算一次即可,后面直接使用该RDD,而不需要反复计算多次...
05-Spark基本原理以及核心概念 Spark基本工作原理Client客户端:我们在本地编写了spark程序,打成jar包,或python脚本,通过spark submit命令提交到Spark集群;只有Spark程序在Spark集群上运行才能拿到Spark资源,来读取数据源的数据进入到内存里;客户端就在Spark分布式内存中并行迭代地处理数据,注意每个处理过程都是在内存中并行迭代完成;注意:每一批节点上的每一批数据...
04-spak RDD算子测试实战 Spark算子概述RDD:弹性分布式数据集,是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作,一个RDD代表多个分区里的数据集。RDD有两种操作算子:• Transformation(转换):Transformation属于延迟计算,当一个RDD转换成另一个RDD时并没有立即进行转换,仅仅是记住了数据集的逻辑操作• Action(执行):触发Spark作业的运行,真正触发...
03-sparkWC开发与应用部署 1. 使用Idea新建项目:Scala+maven工程1.1. 新建project1.2. 新建module1.3. 添加scala1.4. 添加maven还是在上面那个窗口找到maven选中,点击OK配置maven并修改maven创库1.File–点击Settings2.说明如图中所示Scala+maven项目目录结构如下2. WordCount开...
Flume结合场景讲解 flume 使用简单使用flume 场景1: 1、通过netcat发布消息 2、用flume接收netcat发布的消息,最终显示在终端 3、flume的channels是用内存存储的先定义flume-conf.properties.log 这样的文件#定义agent的配置 定义sources 定义channels 定义sinksa1.sources = r1a1.sink...
flink集群的搭建与部署 运行环境linux-CentOS6.8hadoop-2.7.5Scala-2.11.6jdk-1.8flink-1.7.1-bin-hadoop27-scala_2.11.tgzflink搭建1.下载下载地址:http://flink.apache.org/downloads.html根据自己集群环境的情况,下载相应的flink版本。上面描述我的集群环境是hadoop2.7...
CentOS7搭建Hadoop3.1.1的HA详细步骤 最近负责的项目准备上大数据平台存储,主要还是围绕Hadoop平台来实现,虽然打算上cdh版本的hadoop,但是为了前期方便开发还是先使用原声的hadoop进行开发,后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的,如果需要使用其他用户操作,注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下h...
02-RDD与spark核心概念 Spark RDD非常基本的说明,下面一张图就能够有基本的理解:Spark RDD基本说明1、Spark的核心概念是RDD (resilient distributed dataset,弹性分布式数据集),指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。2、RDD在抽象上来说是一种元素集合,包含了数据。它是被分区的,分为多个分区,每个分区...
node is in safe mode 问题描述上传或者操作hdfs的文件时候遇到 node is in safe mode.(处于安全模式),处于这个模式虽然不能进行修改文件的操作,但是可以浏览目录结构、查看文件内容的。解决方案那就是退出安全模式离开安全模式,命令 hadoop dfsadmin -safemode leave扩展命令查看安全模式状态,命令 hadoop dfsadmin -safemode get...
zookeeper单机与伪分布式安装与配置 一、基本环境Linux_CentOS6.8jdk1.8zookeeper-3.4.12二、单机模式的安装与配置2.1.下载zookeeper的tar包wget http://www-eu.apache.org/dist/zookeeper/current/zookeeper-3.4.12.tar.gz2.2.解压安装包到目标路径,并修改文件权限 tar -zxvf zookeep...
spring容器外部获取容器内部bean 思路步骤: 1.定义工具类SpringUtil的静态方法和静态引用。 2.实现接口ApplicationContextAware的setApplicationContext方法。 3.spring容器会在创建该对象过程中,将自身引用注入对象中(Component注解,让spring扫描到该bean)。编码步骤1.编写springutil:imp...
01-spark单机安装部署、分布式集群与HA安装部署+spark源码编译 spark单机安装部署1.安装scala1.下载:wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz2.解压:tar -zxvf scala-2.11.12.tgz -C /usr/local3.重命名:mv scala-2.10.5/ scala4.配置到环境变量:export SCALA_HOME...
00-Spark介绍 什么是Spark?Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势。首先,Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和...
maven打可执行jar包的两种方式 maven概念Maven是一个项目管理和综合工具。Maven提供了开发人员构建一个完整的生命周期框架。开发团队可以自动完成项目的基础工具建设,Maven使用标准的目录结构和默认构建生命周期。创建maven项目可以点击这里。 方法一:使用maven-jar-plugin/ maven-dependency-plugin插件打包1. 添加依赖到lib目录,指定jar包主类 在pom...
最详细Flink安装以及案例之WordCount 前言:本文主要介绍如何将Flink以本地模式运行在单机上。运行环境Linux-CentOS6.8JDK-1.8hadoop-2.7.5flink-1.7.1-bin-hadoop27-scala_2.11flink安装配置过程1.下载1.1进入下载页面。如果你想让Flink与Hadoop进行交互(如HDFS或者HBase),请选择一个与你的Hadoop版本相匹配的Flink包。...
SSM 框架详细整合教程(IDEA版)(Spring+SpringMVC+MyBatis) SSM(Spring、Spring MVC和Mybatis)如果你使用的是 Eclipse,请查看:许多童鞋现在开始学习这个流行的框架来进行Java开发,想要寻找一个最简单的SSM框架搭建方法,这里我不说什么废话,直接上手开始搭建,代码部分都做了详细的注释,可以快速上手!前提jdk 电脑安装jdk环境变量配置检查电脑中是否配置有JDK cmd命令窗口中,java -versio...
IntelliJ IDEA(2017/2018)安装图解与破解教程 IntelliJ IDEA(2017/2018)安装和破解IDEA 全称 IntelliJ IDEA,是Java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE支持、各类版本工具(Git、svn、github等)、JUnit、CVS整合、代码分析、 创新的GUI设计等方面的功能可以说是超常的。IDEA是JetBrain...
Hadoop集群单机伪分布搭建 1.前提准备关闭防火墙:1. 永久性生效(这里需要重启机器才能生效 reboot)开启:chkconfig iptables on关闭:chkconfig iptables off(推荐)2. 即时生效,重启后失效开启:service iptables start关闭:service iptables stop3.查看状态service iptables statusJava...
安装CentOS6.8并配置网络图文解说亲测全过程 安装环境:本文是在win10系统安装上VMWare并配置Centos6.8虚拟机。准备工作1.安装VMWare虚拟机1.1下载VMWare12资源链接:https://pan.baidu.com/s/1AhfMSDXLO-aA0eMqnuMWHg 提取码:iftd1.2安装VMWare,在安装过程中需要输入密钥,填写下面密钥即可,傻瓜式安装。5A02H-AU243-TZJ49-GTC7...
docker入门+结合微服务实战(四) 介绍容器是docker的另一个核心概念简单的来说,容器是镜像的一个运行实例,所不同的是它有额外的可写文件层。如果认为虚拟机是模拟运行的一整套操作系统(提供了运行态环境和其他系统环境)和跑在上面的应用。那么docker容器就是独立运行的一个或一组应用,以及它们的必须运行环境。查看容器列表通过docker ps命令查看正在运行的容器列表,需要查询所有的容器需要加-a参数:查询正在运行的容器...
docker入门+结合微服务实战(三) 镜像镜像是docker的三大核心概念之一docker运行容器前需要本地存在对应的镜像,如果镜像不存在本地,docker会尝试先从默认镜像仓库下载(默认使用docker Hub公共注册服务器中的仓库),用户也可以通过配置,使用自动以的镜像仓库。获取镜像获取镜像通过命令,docker pull完成比如获取Redis3.0.0的镜像第一步,需要到远程的仓库进行搜索https://hub.d...
docker入门+结合微服务实战(二) 安装docker建议第二种吧,第一种默认1.13版本的,用出bug来了,但别人用没事.第二种默认17.12的我们可以在Centos或者Ubuntu下安装docker,要注意的是,centos6对docker支持的不好,使用docker建议升级到centos7。centos7直接通过yum安装即可:yum install -y docker如果报错Is the docker daemon r...
docker入门+结合微服务实战(一) docker简介docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的linux机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。docker的应用我们之前是如何将项目发布到Linux服务器的?大致步骤如下:1、 安装jdk2、 安装tomcat3、 将项目war包上传到tomcat的webapps...
微服务Springcloud超详细教程+实战(二) 远程调用方式无论是微服务还是分布式服务(都是SOA,都是面向服务编程),都面临着服务间的远程调用。那么服务间的远程调用方式有哪些呢?常见的远程调用方式有以下几种:RPC:Remote Produce Call远程过程调用,类似的还有RMI(Remote Methods Invoke 远程方法调用,是JAVA中的概念,是JAVA十三大技术之一)。自定义数据格式,基于原生TCP通信,速度快,...
微服务Springcloud超详细教程+实战(一) 认识微服务系统架构演变集中式架构/单体应用垂直拆分分布式服务服务治理(SOA)系统架构演变随着互联网的发展,网站应用的规模不断扩大。需求的激增,带来的是技术上的压力。系统架构也因此也不断的演进、升级、迭代。从单一应用,到垂直拆分,到分布式服务,到SOA,以及现在火热的微服务架构,还有在Google带领下来势汹涌的Service Mesh。我们到底是该乘坐微服务的船只驶向远方,还是偏安...
zookeeper完全分布式安装 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop 目录HivePigSparkStormHBaseSqoopHivePig和Hive的对比摘要: Pig Pig是一种编程语言,它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义(如日志文件)。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hive Hive在Hado...
Apache Spark编程教程 Apache Spark JavaRDD和任务解决好吧,我告诉我身边的每个人,如果你不知道map-reduce概念那么你就无法理解Apache Spark。为了证明这一点,让我们解决简单的任务。假设我们在城镇中有以下温度的文本文件:Prague 35Madrid 40Berlin 20Paris 15Rome 25位于Apache Hadoop HDFS文件系统,我们需要编写...
apache-hive-1.2.1-bin 安装 技能标签下载apache hive 安装包 进行apache-hive-1.2.1-bin.tar.gz安装 配置mysql存储元数据 配置HDFS存储 /user/hive/warehouse 该Hive版本1.2.1默认集成在(Spark1.6 到 Spark2.4)下载下载安装包apache-hive-1.2.1-bin.tar.gz: https://archive.ap...
HTTP 错误 404.0 - Not Found 当网上的那些修改程序池的方法,无法解决此问题时,可以尝试修改以下的参数:1.控制面板--&gt;程序--&gt;启用或关闭Windows功能--&gt;Internet Information Services--&gt;Web管理工具--&gt;子项全部勾选上.2.Internet Information Services--&gt;应用程序开发功能--&gt;子项全部勾选上.重
idea中@Data不起作用 相关依赖 &lt;dependency&gt; &lt;groupId&gt;org.projectlombok&lt;/groupId&gt; &lt;artifactId&gt;lombok&lt;/artifactId&gt; &lt;version&gt
十个程序员必备的网站推荐 程序员的工作和日常生活非常的枯燥,这里给大家推荐一些程序员经常使用的网站,也是我经常上的一些网站,尤其是前三个网站感觉用起来非常的舒服。我大致把这些网站分为三类,使用工具类,设计分享类,资讯交流类,业界良心类。希望能对大家有所帮助。1,Github代码托管(https://github.com/)作为开源代码库以及版本控制系统,Github拥有140多万开发者用户。随着越来越多的应用程序转移到...
kettle入门之文本文件导入数据库 Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
关于java的杂乱无章(续更) Java 是由Sun Microsystems公司于1995年5月推出的高级程序设计语言。Java可运行于多个平台,如Windows, Mac OS,及其他多种UNIX版本的系统。本篇文章主要讲述我在java中遇到的问题以及总结。
java中字符串大小写转换 JAVA中String类提供了转大写的方法toUpperCase()和转小写的方法toLowerCase()使用说明:String a = "ITXIAOBAI";system.out.println(a.toLowerCase());//itxiaobaiString b = "itxiaobai";system.out.println(b.toUpperCase());//ITXIA...
大数据面试总结(二) Java基础知识Java中常用算法:冒泡、选择、快速冒泡:两两比较,每一轮(0~length-i)挑出一个最值,并将其移除,循环遍历1~length 选择:外面定义从0~length-1,先选定一个最先面的下目标作为最小下标,将其所对应的值逐一与其他比较,如果有人小于这个值,将其下标交换位置,一轮下来,如果最小下标指向的值不再是刚定义的值,就将其所对应的值交换位置,循环遍历 里面...
大数据相关面试题整理-带答案 1、fsimage和edit的区别?Namenode主要维护两个文件,一个是fsimage,一个是editlog。fsimage保存了最新的元数据检查点,包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组)等。editlog主要是在NameNode已经启动情况下对HDFS进...
大数据相关面试题整理-带答案 1、fsimage和edit的区别?Namenode主要维护两个文件,一个是fsimage,一个是editlog。fsimage保存了最新的元数据检查点,包含了整个HDFS文件系统的所有目录和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等;对于目录来说包括修改时间、访问权限控制信息(目录所属用户,所在组)等。editlog主要是在NameNode已经启动情况下对HDFS进...