- 博客(22)
- 收藏
- 关注
RSS订阅原创 Request method POST not supported
org.springframework.web.HttpRequestMethodNotSupportedException: Request method 'POST' not supported at org.springframework.web.servlet.mvc.method.RequestMappingInfoHandlerMapping.handleNoMatch(RequestMappingInfoHandlerMapping.java:200) at org.springframe
2020-05-26 16:39:26
336
原创 Content type application/x-www-form-urlencoded charset=UTF-8 not supported
2020-05-15 09:56:20.646 ERROR 5064 --- [io-28762-exec-3] c.a.f.c.e.GlobalExceptionHandler : Content type 'application/x-www-form-urlencoded;charset=UTF-8' not supportedorg.springframework.web.HttpMediaTypeNotSupportedException: Content type 'appl
2020-05-15 13:37:41
1557
原创 Apache Spark Stream
Apache Spark Stream一、概述⼀般流式计算会与批量计算相⽐较。在流式计算模型中，输⼊是持续的，可以认为在时间上是⽆界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续输出的，也即计算结果在时间上也是⽆界的。流式计算⼀般对实时性要求较⾼，同时⼀般是先定义⽬标计算，然后数据到来之后将计算逻辑应⽤于数据。同时为了提⾼计算效率，往往尽可能采⽤增量计算代替全量计算。批...
2020-04-02 21:12:53
212
原创 Apache Spark SQL
Apache Spark SQLSpark SQL是⽤于结构化数据处理的⼀个模块。同Spark RDD 不同地⽅在于Spark SQL的API可以给Spark计算引擎提供更多地 信息，例如:数据结构、计算算⼦等。在内部Spark可以通过这些信息有针对对任务做优化和调整。这⾥有⼏种⽅式和Spark SQL进⾏交互，例如Dataset API和SQL等，这两种API可以混合使⽤。Spark SQL的...
2020-03-29 23:44:09
317
原创 Spark RDD
Spark RDD一、概述At a high level, every Spark application consists of a driver program that runs the user’s main function and executes various parallel operations on a cluster. The main abstraction Spar...
2020-03-29 01:11:23
227
原创 Apache Spark环境搭建(单机版)
Apache Spark环境搭建(单机版)一、Spark On Yarn1、Hadoop环境①、设置CentOS进程数和⽂件数(可选)[root@centos ~]# vim /etc/security/limits.conf * soft nofile 204800* hard nofile 204800* soft nproc 204800* hard nproc 204800...
2020-03-28 17:27:22
517
原创 Apache Spark
Apache Spark一、概述Spark是⼀个快如闪电的统⼀分析引擎（计算框架）⽤于⼤规模数据集的处理。Spark在做数据的批处理计算，计算性能⼤约是Hadoop MapReduce的10~100倍，因为Spark使⽤⽐较先进的基于 DAG 任务调度，可以将⼀个任务拆分成若⼲个阶段，然后将这些阶段分批次交给 集群计算节点 处理。1、MapReduce VS SparkMapRedu...
2020-03-28 15:43:01
147
原创 Scala
Scala一、概述Scala⽤⼀种简洁的⾼级语⾔将 ⾯向对象 和 函数式编程 结合在⼀起。传统业务开发- 领域模型设计（⾯向对象开发）; ⼤数据开发 - 数据集计算模型-（函数式编程）。 函数编程 强调的是程序对数据的运⾏算能⼒。在 ⾯向对象计算数据 的时候采取代码不动移动数据.在 函数式编程计算 的时候数据不动代码动。Scala是⼀⻔多范式的编程语⾔,同时⽀持⾯向对象和⾯向函数编程⻛格。它以...
2020-03-28 04:01:14
619
原创 Apache Sqoop
Apache Sqoop一、概述Apache Sqoop（TM）是⼀种旨在在Apache Hadoop和结构化数据存储（例如关系数据库）之间⾼效传输批量数据的⼯具。通过内嵌的MapReduce程序实现关系型数据库和HDFS、Hbase、Hive等数据的倒⼊导出。二、安装1、下载资源访问sqoop的⽹址，选择相应的sqoop版本下载，本案例选择下载的是 1.4.7 下[载地址](htt...
2020-03-27 23:45:26
151
原创 Apache Flume组件
Apache Flume组件一、基础组件1、Source-输⼊源①、Avro Source(接受avro协议数据)内部启动⼀个Avro 服务器，⽤于接收来⾃Avro Client的请求，并且将接收数据存储到Chanel中。属性默认值含义channels需要对接Channeltype表示组件类型，必须给 avrobind绑定IPport...
2020-03-27 22:50:00
156
原创 Apache Flume
Apache Flume一、概述Flume是⼀种分布式，可靠且可⽤的服务，⽤于有效地收集，聚合和移动⼤量⽇志数据。Flume构建在⽇志流之上⼀个简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制，具有强⼤的容错性。使⽤Flume这套架构实现对⽇志流数据的实时在线分析。Flume⽀持在⽇志系统中定制各类数据发送⽅，⽤于收集数据；同时，Flume提供对数据进⾏简单处理，并写到各种...
2020-03-27 18:55:15
164
原创 Apacke Kafka API
Apacke Kafka API一、依赖<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients --><dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-cl...
2020-03-23 04:00:56
196
原创 Apache Kafka集群环境搭建
Apache Kafka集群环境搭建一、安装JDK[root@centosX ~]# tar -zxf jdk-8u171-linux-x64.tar.gz -C /usr/soft/[root@centosX ~]# vim .bashrc# .bashrc# User specific aliases and functionsalias rm='rm -i'alias cp...
2020-03-22 23:25:58
100
原创 Apache Kafka单机环境搭建
Apache Kafka单机环境搭建一、安装JDK[root@centos ~]# tar -zxf jdk-8u171-linux-x64.tar.gz -C /usr/soft/[root@centos ~]# vim .bashrc# .bashrc# User specific aliases and functionsalias rm='rm -i'alias cp='...
2020-03-22 21:11:52
138
原创 Apache Kafka
目录Apache Kafaka一、概述二、基础架构1、日志和分区2、生产者3、消费组4、顺序写入&ZeroCopyApache Kafaka一、概述Apache Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间解耦、异步通信、削峰填谷等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相...
2020-03-21 20:33:58
187
原创 分布式⽂件系统集成FastDFS、Nginx、FastDHT
分布式⽂件系统集成FastDFS、Nginx、FastDHT一、概述分布式⽂件系统（Distributed File System）是指文件不存储在本地节点，而是通过网路存储在多个节点，节点之间互相备份。通过分布式文件系统，可以有效的解决单节点存储在容量⼤⼩、容量增⻓速度、数据备份、数据安全等⽅⾯的问题。分布式文件系统将固定于某个地点的某个⽂件系统，扩展到任意多个地点/多个⽂件系统，众多...
2020-03-20 23:54:55
400
原创 spring-boot使用AOP实现读写分离
spring-boot使用AOP实现读写分离一、自定义数据源在配置文件中定义数据源spring: datasource: master: username: root password: 123456 driver-class-name: com.mysql.jdbc.Driver jdbc-url: jdbc:mysql://ce...
2020-03-20 03:52:27
413
原创 spring-boot使用redis开启mybatis二级缓存
spring-boot使用redis开启mybatis二级缓存缓存是在查询数据库时，先查询缓存中是否存在查询结果，如果存在，直接从缓存中拿，如果不存在，查询数据库，并将查询结果写入缓存。一、spring-boot自定义二级缓存1、实现Cache类自定义二级缓存package com.baizhi.cache;import com.baizhi.ApplicationContextHol...
2020-03-20 02:23:57
366
原创 Linux中redis安装
Linux中redis安装一、需要安装gcc依赖[root@centos redis]# yum install -y gcc二、访问redis主页下载redis主页添加链接描述: https://redis.io/下载redis或使用命令[root@centos ~]# wget http://download.redis.io/releases/redis-5.0.8.tar...
2020-03-20 00:57:26
93
原创 Linux中MyCat实现MySQL读写分离
MyCat实现MySQL读写分离一、官网下载安装包官网下载安装包http://www.mycat.io/选择安装版本或使用命令下载[root@centos ~]# wget http://dl.mycat.io/1.6.7.4/Mycat-server-1.6.7.4-test-20191022170541-linux.tar.gz下载完成上传到Linux二、解压tar包[roo...
2020-03-20 00:33:26
136
原创 MySQL主从复制
MySQL主从复制一、现有架构存在的问题随着互联网发展和兴起,当大量请求涌入的时候,单节点的应用服务器(tomcat)和单节点的数据库服务器(mysql),会因为处理速度过慢,或者出现极端情况导致宕机.单节点故障:外界不可抗因素,导致数据库服务器或者是应用服务器宕机,最终导致整个网站的瘫痪单节点压力:当大量请求涌入时,会耗尽服务器资源进而导致网站的瘫痪集群(Cluster): 集多个服...
2020-03-19 23:26:18
100
1
原创 Linux 安装卸载Mysql
Linux 安装Mysql1、rpm安装①预装配置a.安装 vim vim是一个强大的文本编辑工具 (高亮的展示文件内容)[root@centosB mysql]# yum install -y vimb.卸载centos7中默认安装的有数据库mariadb(mysql和mariadb有冲突)查看是否存在mariadb[root@centosB mysql]# rpm -...
2020-03-19 22:10:51
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人