自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(36)
  • 收藏
  • 关注

原创 虚拟机群上搭建大数据框架

概况技术选型图片来自尚硅谷。服务器规划服务名称子服务hadoop102hadoop103hadoop104HDFSNameNode+HDFSDataNode+++HDFSSecondaryNameNode+YarnNodeManager+++YarnResourceManager+ZookeeperZookeeper Server+++Flume(日志)Flume++Kafk

2020-11-06 11:25:12 58

原创 安装和环境搭建--Zookeeper学习笔记

Zookeeper,一个基于观察者模式设计的分布式服务管理框架,负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。Zookeeper集群包含一个Leader、若干个follower,集群只要有半数以上节点存活Zookeeper集群就能正常服务。集群全局数据一致;更新请求顺序进行:来自同一个Client的更新请求按其发送顺序依次执行;数据更新原子性:一次数据更新要么成功,要么失败。

2020-10-31 14:51:16 21

原创 MapReduce--Hadoop学习笔记

FileInputFormatFileInputFormat是基本的数据读取类型,包括TextInputFormat、KeyValueInputFormat、NLineInputFormat、CombineTextInputFormat以及自定义的InputFormat。TextInputFormat:默认的类型,key是偏移量Long类型,value是一行的数据;KeyValueInputFormat:默认以tab分割,一行数据中tab前是key,tab后面是value;NLineInputFo

2020-10-29 15:28:28 6

原创 Hadoop下的压缩与解压--Hadoop学习笔记

压缩与解压这里压缩和解压是在Hadoop框架下进行的,需要Hadoop环境。这里以BZip2和Gzip压缩格式为例,直接上代码。package compress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;import org.apache.hadoop.io.compress.CompressionCodec;

2020-10-29 14:31:58 10

原创 protobuf在idea上的demo实例

先导入依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/x

2020-10-27 10:43:01 33

原创 WordCount实现--Hadoop学习笔记

首先添加依赖pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apac

2020-10-26 17:22:48 7

原创 Idea上Hadoop的简单使用--Hadoop学习笔记

集成IDEA首先配置好环境变量,新建Maven工程。添加pom依赖,这里注意对应的hadoop版本<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.13</version>

2020-10-26 17:18:21 21

原创 HDFS常用命令--Hadoop学习笔记

HDFS常用命令启动集群hdfs:sbin/start-dfs.sh启动集群yarn:sbin/start-yarn.shhelp:hadoop fs -help rm显示目录信息:hadoop fs -ls /在HDFS上创建目录:hadoop fs -mkdir -p /user本地剪切到HDFS:hadoop fs -moveFromLocal x.txt /user追加文件到另一个已存在文件的末尾:hadoop fs -appendToFile x.txt /user/xx.txt

2020-10-26 17:16:44 8

原创 添加白名单、黑名单--Hadoop学习笔记

添加白名单102上创建dfs.hosts文件[root@hadoop102 hadoop]# pwd/opt/module/hadoop-2.8.2/etc/hadoop[root@hadoop102 hadoop]# touch dfs.hosts[root@hadoop102 hadoop]# vi dfs.hosts 添加白名单机器名称hadoop102hadoop103hadoop104修改hdfs-site.xml,使白名单生效[root@hadoop102 hadoop

2020-10-26 17:15:52 22

原创 集群时间同步、定时任务--Hadoop学习笔记

定时任务每隔一分钟向/opt/module/hadoop-2.8.2/bailong.txt中追加一个+号。[root@hadoop102 hadoop-2.8.2]# crontab -e*/1 * * * * /bin/echo "+" >> /opt/module/hadoop-2.8.2/bailong.txt启动服务[root@hadoop102 hadoop-2.8.2]# service crond restart查看文件[root@hadoop102 hado

2020-10-22 14:33:16 30

原创 集群配置与搭建--Hadoop学习笔记

集群配置该集群有102、103、104三台机器。hadoop102hadoop103hadoop104HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNodeYARNNodeManagerResourceManager、NodeManagerNodeManagerxsync脚本先创建文件,放在bin目录下[root@hadoop102 ~]# mkdir bin[root@hadoop102 bi

2020-10-22 13:34:21 8

原创 虚拟机配置及克隆--Hadoop学习笔记

Hadoop概述Hadoop2.X组成Hadoop包括Common、HDFS、Yarn、MapReduceCommon辅助工具HDFS数据存储NameNode:存储文件元数据,可以理解为目录DataNode:本地文件系统存储文件块数据,即实实在在的数据SecondaryNameNode:监控HDFS状态的辅助后台程序Yarn资源调度ResourceManager(RM):处理客户端请求,监控NodeManager,监控ApplicationMaster,资源调度与分配NodeM

2020-10-22 13:32:47 15

原创 stream消息驱动--SpringCloud学习笔记

快速使用先写一个8801消息的提供者。pom依赖添加<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ht

2020-10-12 16:42:33 6

原创 config配置中心--SpringCloud学习笔记

3344配置中心前提是git相关已经配置好,在idea上配置好git就可以开始下面的步骤。pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.a

2020-10-12 11:13:55 12

原创 Gateway网关配置--SpringCloud学习笔记

配置Gateway端口9527简单的配置使用pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 htt

2020-10-09 15:41:33 27

原创 Hystrix负载均衡--SpringCloud学习笔记

Hystrix是一个用于处理分布式系统的延迟和容错的开源库,能保证在一个依赖出问题的情况下不会导致整体服务失败,避免级联故障,以提高分布式系统的弹性。服务降级fallback服务器忙,请稍后再试,不让客户端等待并立刻返回一个友好提示程序运行异常超时服务熔断触发服务降级线程池、信号量打满也会导致服务降级服务熔断break达到最大服务访问后,直接拒绝访问,然后调用服务降级的方法并返回友好提示服务限流flowlimit秒杀高并发等操作,严禁一窝蜂的过来拥挤服务降级一般是放在客户端

2020-10-09 10:57:51 13

原创 OpenFeign简单使用--SpringCloud学习笔记

OpenFeign使用时需要80端口自己写一个Service来调用8001端口的controller。首先是添加依赖 <!--openfeign--><dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-openfeign</artifactId></dependency>

2020-09-30 10:03:03 27

原创 Ribbon负载均衡切换--SpringCloud学习笔记

先在客户端口80,添加配置类,这里不用添加pom,因为pom中spring-cloud-starter-netflix-eureka-client包含了Ribbon。注意:配置类不能和主启动类在同一个目录或其子目录下目录结构图如下,其中OrderMain80为主启动类配置类MySelfRule.java@Configurationpublic class MySelfRule { @Bean public IRule myRule(){ //定为随机

2020-09-29 17:27:52 17

原创 SpringCloud微服务详细代码块-Eureka

父工程pom父工程只有一个pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.

2020-09-29 15:49:54 54

原创 手把手搭建springcloud微服务,使用Eureka

父工程pom父工程没啥,只有一个pom要配置<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.a

2020-09-29 10:36:52 14

原创 使用fastjson实现Json与对象、List的转换

为了测试,先建一个类Article.java@Data #这里用的lombok@AllArgsConstructor@NoArgsConstructorpublic class Article { private Integer id; private String summary; private String author;}然后测试类public void outSay(){ Article article = new Article(1,

2020-09-29 09:14:11 30

原创 热部署工具devtools的搭建

首先在子工程添加pom依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> <optional>true</optional></dependency>

2020-09-28 13:28:22 27

原创 SpringCloud简单父工程的手把手搭建

新建Maven项目之后命名,然后是注意,Maven不要用默认的,要用自己安装的然后就finish了后面才是开始,记住“约定大于配置”,好多东西要在一开始就弄好,不然之后会出现许多莫名其妙的错误。编码格式,写好如图接着,开启注解生效Java版本,一般用的都是Java1.8,老旧的可能会用到1.7还有个添加文件过滤,这个纯粹是个人喜好,开启后界面会变得舒服新增前两个...

2020-09-27 19:57:08 20

原创 使用druid数据源报错,testWhileIdle is true, validationQuery not set解决方法

使用druid数据源报错,testWhileIdle is true, validationQuery not set解决方法网上的方法都试了一下,都不太行,我自己改了驱动结果就好了原先的yml配置是这样的编译没问题,运行会报错数据库驱动采用的是org.gjt.mm.mysql.Driver,把它修改成常用的com.mysql.jdbc.Driver或com.mysql.cj.jdbc.Driver就不会报错了...

2020-09-25 17:03:14 84

原创 Redis基础补充--学习笔记

事务Redis事务的本质:一组命令的集合一次性、顺序性、排他性Redis单条命令是保证原子性的,但是事务不保证原子性Redis事务没有隔离级别的概念所有的命令在事务中,并没有直接被执行,只有发起执行命令的时候才会执行执行事务Redis事务包括三个命令:开启事务multi命令入队执行事务exec连接1:0>multi #开启事务"OK"连接1:0>set k1 v1 #命令入队"QUEUED"连接1:0>set k2 v2"QUEUED"

2020-09-24 09:01:15 29

原创 Redis学习笔记

MySQL的演进单机MySQLMemocached(缓存)+MySQL+垂直拆分分库分表+水平拆分+MySQL集群NoSQLNoSQL(Not Only SQL)不仅仅是数据库,非关系型数据库传统的RDBMS结构化组织SQL语言数据和关系都存储在单独的表中严格的一致性基础的事务NoSQL不仅仅是数据没有固定的查询语言键值对存储、列存储、文档存储、图形数据库最终一致性CAP定理、BASE理论(异地多活)高性能、高可用、高可扩大数据时代:3V+3高

2020-09-23 14:51:37 66

原创 SpringBoot零散知识学习汇总——学习笔记

配置文件的位置配置文件可以放四个位置file: ./config/file: ./classpath: /config/ (classpath就是resources目录)classpath: /优先级从上往下依次降低,即第四个优先级最低,这也是官方推荐使用的配置文件位置多环境配置resources目录下实现多环境配置,例如resources下有application.properties、application-dev.properties、app

2020-09-21 14:45:33 76

原创 使用EasyExcel读取Excel并存取数据库

EasyExcel读取Excel并存取数据库配置文件使用MyBatis-plus+SpringBoot首先是pom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mave

2020-09-18 15:57:38 399

原创 文件IO流,读取与下载

文件IO流,读取与下载package com.liu.demo.controller;import com.liu.demo.service.ArticleService;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.web.bind.annotation.GetMapping;import org

2020-09-15 10:07:15 9

原创 MyBatis-plus学习代码块

仅供自己使用,初学小白一枚。项目结构代码如下配置文件pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 h

2020-09-14 10:07:43 12

原创 学习MyBatis项目

这是一个学习MyBatis做点项目(Springboot+MyBatis+Maven),仅供自己做学习参考。结构目录如图创建项目的步骤如下图Java版本要一致,我用的是Java1.8这里我用了Lombok插件,然后项目就建好了。代码详细实现如下一些配置文件pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht

2020-09-14 09:52:51 26

原创 MyBatis-Plus--学习记录

MyBatis-Plus配置大部分和MyBatis配置一样,只修改pom和yml文件。pom.xml中导入依赖由mybatis变为mybatis-plus,一般两者不能同时存在,用mybatis-plus就用mybatis-plus的依赖。<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId

2020-09-12 09:40:48 14

原创 application.yml文件--学习记录

MyBatis配置application.yml文件server: port: 8081spring: datasource: username: root password: root url: jdbc:mysql://120.26.142.247/mybatisplus?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=Asia/Shang

2020-09-12 09:39:40 20

原创 MyBatis配置--学习记录

MyBatis配置pom导入依赖mysql驱动MyBatisJunit配置文件mybatis-config.xml(名字不建议改)文件,resources目录下<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">&

2020-09-12 09:38:14 17

原创 Java环境变量配置及卸载

Java环境变量配置及卸载卸载JDK删除Java安装目录(目录就是JAVA_HOME下面的目录);删除JAVA_HOME;删除path下关于Java的目录;在cmd命令下输入java -version验证是否删除。安装JDK常用的是JDK1.7和JDK1.8,一般用JDK1.8也即JDK8。百度JDK8,去官网下载电脑对应的版本;下载完成后双击安装,安装时记住安装目录(目录最好不要写中文,不然后面可能会报错),这个安装路径后面会用到;配置环境变量我的

2020-09-02 16:49:18 124

原创 使用Typora写MarkDown文档

学习笔记MarkDown入门级学习笔记标题方法:#+空格+标题名称+回车键 快捷键:Ctrl+1 作用:一级标题方法:##+空格+标题名称+回车键 快捷键:Ctrl+2 作用:二级标题。。。以此内推,最多可以六级标题字体加粗方法:两个星号(*)+字体+两个星号 效果:字体斜体方法:一个星号+字体+一个星号 效果:字体加粗斜体方法:三个星号+字体+三个星号 效果:字体划线方法:两个波浪号(Tab上方的符号)+字体+两个波浪号 效果:字体引用方

2020-09-02 15:25:19 103

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除