Demon的博客

原创 大数据常见错误（持续更新中）

1、Exception in thread "main" org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. Th...

原创 FlinkCDC如何实时同步mysql数据到DorisDB/StarRocks

FlinkCDC同步mysql数据到DorisDB/StarRocks

原创 简单的Java的token鉴权架构

简单的Java的token鉴权架构

原创 log4j-2.15.0-rc2在window下编译过程

一、安装maven点击这里下载最新maven官方下载下载完成之后配置好环境变量mvn -v二、下载jdkjdk8jdk9jdk11三、配置maven的conf/toolchains.xml<toolchain> <type>jdk</type> <provides> <version>1.8</version> <vendor>oracle</vendor> &l

转载 Doris-0.13.15部署扩容问题汇总

1、环境Doris版本0.13.15（进去可直接下载binary tgz，解压即用，无需自己编译）现有节点，3个节点node1, node2, node3FE服务扩容observer节点：node4, node5, node6BE服务扩容节点：node4, node5, node6Broker服务扩容节点：node4, node5, node6supervisor挂载上面三个服务，保证服务不挂2、扩容2.1、扩容前准备检测Kafka连通性（保证后续RoutineLoad可以正常使用

原创 spark streaming和spark SQL整合使用出现的问题

问题描述：在spark streaming的foreachrdd中使用spark session获取hive中的数据时，只会显示一个default库解决方法：1、在resources中放入集群中的core-site.xml、hdfs-site.xml、hive-site.xml2、修改代码之前的代码：@transient val sparkConf = new SparkConf() .setAppName("REPORT_SYSTEM") .se

原创 快速排序(scala版本)

首先假设tmp为数组中的第一个数为6，然后从数组两边扫描，设定两个索引值：low代表起始位置，high代表末尾位置首先我们要获取数组的一个分界索引首先假设从右往左开始扫描，如果扫描的值大于tmp的值并且high>low就让high减1，不满足该条件时将arr(low)赋值为arr(high)然后从左往右开始扫描，如果扫描的值小于tmp的值并且high>low就让...

原创 定时缓存之LoadingCache

遇到的问题：在项目中需要使用一个定时更新某个本地缓存里面的数据解决的方案：使用LoadingCacheval loadingCache: LoadingCache[String, util.List[String]] = CacheBuilder.newBuilder() .expireAfterAccess(10, TimeUnit.MINUTES).maximumSize(1L) .b...

原创 希望大家多多支持本博主新建的公众号

昨天本博主心血来潮，建了个微信公众号，希望喜欢的朋友多多支持，我争取每天更新内容，将公众号发展的越来越好！！下面是我公众号的二维码，喜欢大家多多支持，谢谢拉~~~...

原创 如何将jar包安装到本地maven仓库

maven仓库地址：https://mvnrepository.com/下载jar包maven安装jar包命令：<!-- https://mvnrepository.com/artifact/org.apache.kudu/kudu-spark2 --><dependency> <groupId>org.apache.kudu&l...

原创 安装Cloudera Manager出现的错误

1、hostname localhost.localdomain differs from the canonical name localhost解决方法：CentOS7查看hostnameCentOS6查看vim /etc/sysconfig/network发现与/etc/hostname中的不一致运行命令hostnamectl set-hostname XXX2...

原创 使用spark streaming使用snappy压缩保存数据到HDFS中

工作中需要将从Kafka中的数据保存到HDFS中去，并且需要使用snappy压缩话不多说，直接上代码/** * 自定义多目录写与追加写,采用snappy压缩 * @author demon * @version 2019/05/05 */class AppendTextOutputFormat extends TextOutputFormat[Any, Any] { ...

原创 使用Canal实现MySQL的数据实时同步

我们公司的架构大致如下：途中会使用canal监听MySQL的binlog日志从而实现mysql的数据实时同步到redis和hdfs中。第一步：开启MySQL的binlog日志Mysql 的 binlog 日志作用是用来记录 mysql 内部增删等对 mysql 数据库有更新的内容的 记录(对数据库的改动)，对数据库的查询 select 或 show 等不会被 binlog 日志记录...

原创 使用spark SQL访问服务器的hive数据出现的问题

问题：javax.jdo.JDOFatalInternalException: Error creating transactional connection factory解决方法：将mysql-connector-java-5.1.47-bin.jar放到JAVA_HOME/jre/lib/ext下就可以运行了！！...

原创 SparkStreaming对接Kafka0.10+管理offset到zookeeper的方式

版本号：spark-streaming-kafka-0-10_2.11 version:2.4.0kafka-clients version:0.11.0.0问题：之前都是使用的0.8版本的来保存offset，但因为线上Kafka集群版本为0.11.0.0的，保存offset的方式发生了很大的变化。官网的方式：import org.apache.kafka.client...

原创 Kafka-2.11-0.11.0.0对接spark streaming序列化问题

Kafka_2.11-0.11.0.0sprak-streaming-kafka-0-10_2.11报错信息如下java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecordSerialization stack: - object not serializable (class...

原创 怎么在Hbase中设置多个HMaster

目的：为了实现Hbase的高可用性，需要设置多个HMaster来管理Hbase中的RegionServer负责哪部分数据。HMaster的功能：管理Hbase中的RegionServer负责哪部分数据，假设有三个RegionServer，当Hbase中的RegionServer2挂了的时候，HMaster会将该RegionServer2中的数据例如：region2和region35平均分配给例...

原创 CRT如何修改文件和vim颜色

第一步：确定是否安装vim-enhanced。基本上都是会安装好的。第二步：将Emulation下的Terminal设置为ANSI,然后选中后面的两个复选框。第三步：将外观下的主题设置为White/Black，字体设置为如下。效果如下：  ...

原创 如何修改IDEA中Tab按键的空格大小

原创 Hive的安装部署&基本操作

一、安装部署1.1安装mysql卸载自带mysql组件centos默认可能会安装了mysql相关的软件，首先查找一下，如果有就卸载，没有就直接安装mysql。在node1上输入：rpm -qa | grep mysql可能显示如下：mysql-libs-5.1.73-5.el6_6.x86_64xxx如果有类似上面的结果，就卸载每一个软件，命令类似下面：rpm -e ...

原创 Flume安装部署&使用

Flume软件有3个组件，分别是source、channel、sink。三个组件的作用，如下图所示：复杂结构：一、安装部署Flume的安装非常简单，上传安装包到数据源所在节点上（node1），然后解压：tar -zxvf apache-flume-1.6.0-bin.tar.gz然后进入flume的目录，修改conf下的flume-env.sh，在里面配置JAVA_H...

原创 Hadoop的MapReduce使用

一、MapReduce框架结构一个完整的mapreduce程序在分布式运行时有三类实例进程： 1、MRAppMaster：负责整个程序的过程调度及状态协调 2、MapTask：负责map阶段的整个数据处理流程 3、ReduceTask：负责reduce阶段的整个数据处理流程 二、MapReduce 编程规范及示例编写2.1 编程规范 1、写一个类（MyMapper）...

原创 配置windows平台下的hadoop出现的问题

问题：Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 解决方法：1、在windows系统中配置HADOOP_HOME指向...

原创 Hadoop的Shell脚本命令

1、Shell 常用命令介绍1.1 -ls 使用方法hadoop fs -ls [-R] <args>功能：显示文件、目录信息。示例：hadoop fs -ls /user/hadoop/file11.2-mkdir 使用方法hadoop fs -mkdir [-p] <paths>功能：在hdfs上创建目录，-p表示会创建路径中的各级父目...

原创 Hadoop2.7.4集群搭建

HDFS：分布式文件系统MAPREDUCE：分布式运算程序开发框架HIVE：基于HADOOP的分布式数据仓库，提供基于SQL的查询数据操作HBASE：基于HADOOP的分布式海量数据库ZOOKEEPER：分布式协调服务基础组件Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库Oozie：工作流调度框架Sqoop：数据导入导出...

原创 Linux常用命令

目录一、基本命令1.1 关机和重启1.2 帮助命令二、目录操作命令2.1 目录切换 cd2.2 目录查看 ls [-al]2.3 目录操作【增，删，改，查】2.3.1创建目录【增】 mkdir2.3.2删除目录或文件【删】rm2.3.3目录修改【改】mv 和 cp2.3.4搜索目录【查】find三、文件操作命令3.1 文件操作【增，...

原创 JWT授权规范

JWT，全称是Json Web Token， 是JSON风格轻量级的授权和身份认证规范，可实现无状态、分布式的Web应用授权 。那么什么是无状态？？微服务集群中的每个服务，对外提供的都是Rest风格的接口。而Rest风格的一个最重要的规范就是：服务的无状态性 。无状态带来的好处是什么呢？ 客户端请求不依赖服务端的信息，任何多次请求不需要必须访问到同一台服务 服务端的集群...

原创 Java项目微服务中添加拦截器实现

目的：项目中需要拦截器的实现，让没有登陆的用户无法通过url来实现页面的渲染。实现：一、继承HandlerInterceptorAdapterpublic class LoginInterceptor extends HandlerInterceptorAdapter二、重写preHandler和afterCompletionpreHandler:前置方法，可以拦截在cont...

原创 Java解决cookie写入问题

当我们使用 CookieUtils.setCookie(request, response, this.prop.getCookieName(), token, this.prop.getExpire() * 60); 将token设置进入cookie时，页面刷新并不能获取到cookie值，这是为什么呢？问题分析我们在之前测试时，清晰的看到了响应头中，有...

原创 maven project中的工程变灰

查看Ignored Files中的pom.xml文件是否被忽略了，忽略了则会在maven project中变成灰色

原创 idea添加依赖的时候不能自动提示

 Build,Execution,Deployment-&gt;Build Tools-&gt;Maven-&gt;Repositories-&gt;选中右侧第一个列表-&gt;点击Update

原创 Spring基于注解的AOP配置

Joinpoint(连接点):所谓连接点是指那些被拦截到的点。在spring中,这些点指的是方法,因为spring只支持方法类型的连接点。指的是所有可以被增强的方法。Pointcut(切入点):所谓切入点是指我们要对哪些Joinpoint进行拦截的定义。指的是已经决定即将要增强的方法。比如我决定要对saveAccount方法进行增强了，那么该方法就是切入点。Advice(通知/增强...

原创 Spring基于注解的IoC配置

基于注解的IoC配置，与在xml中配置目的是一样的，都是降低代码之间的耦合度的，只是配置的形式不一样。使用注解的步骤：    1、添加context的名称控件和约束    2、开启注解扫描：由spring扫描指定的包及其子包下的所有类，如果类上使用了@Component注解，就将该类装配到容器中    3、在类上使用@Component注解使用注解之前一定要先开启注解扫描&lt...

原创 IDEA使用SVN上传项目

文章最后附上svn服务器和客户端下载地址一、IDEA集成SVN二、查看SVN仓库调出svn视图：连接svn服务器：连接后效果如下：三、忽略上传文件忽略文件如下：可以选择按规则匹配 .idea target *.iml 四、上传工程到SVN右键工程，将工程上传到svn: 选择上传到trunk目录中：...

原创 mybatis动态代理学习感悟

目的：最近学习了mybatis框架的使用，所以写个博客用来记录mybatis动态代理学习中的问题以及感悟，本博客中的项目是基于mybatis动态代理高级查询的demo对应的sql语句也放在了resources目录下：项目地址目录一、为什么我们要使用mybatis？二、mybatis整体架构三、Mapper动态代理快速入门Mapper接口的动态代理实现，需要遵循以下规范：...

原创 Linux静态IP设置

1、输入命令setup2、选择Network configuration回车3、选择设备配置回车4、修改第二个网卡5、光标移动到USE DHCP那一行按空格替换*号变成如下所示6、打开电脑中的网络连接7、双击VMnet1点击属性8、设置Linux中的静态IP9、配置完成后保存退出，输入命令行service network re...

原创 创建新的Service Linux虚拟机

需要vmware安装包以及注册码还有Linux镜像文件的可以在评论下说明要虚拟机还是Linux并留下qq邮箱，我看到会发给你的！！！1、点击创建新的虚拟机2、点击自定义(高级)3、直接下一步4、选择稍后安装操作系统5、按照方框选择6、自定义虚拟机名称，安装路径(不要有中文)7、根据计算机配置设置处理器数量和核心数量8、根据计算机配置分配内...

原创 用户管理系统

一、项目介绍本项目是基于JavaWeb工程的用户管理系统，编写的目的在于更好的学习JavaWeb，博客最后附上项目的地址，欢迎大家下载。二、项目功能介绍1、登陆页面使用了bootstrap.css来优化页面，使用session来存储用户的账号和密码2、注册页面与登陆页面相似，也使用了bootstrap.css，注册成功替换原先的cookie值3、用户信息列表页面...

原创 JDBCTemplate的使用

一、jar包的准备还需要c3p0相关的包如果使用的是 c3p0 jdbcTemplate 相关jar包5个 + c3p0 2个 + MySql驱动 1个 = 8个jar如果使用的是 druid jdbcTemplate 相关jar包5个 + druid 1个 + MySql驱动 1个 = 7个jar二、创建JdbcTemplate对象API介绍JdbcTemplat...

原创 C3P0连接池配置文档

一、导入jar包下载链接 二、配置文件配置文件名称：c3p0-config.xml (固定)配置文件路径：src (类路径)配置文件内容：命名配置&lt;c3p0-config&gt; &lt;!-- 命名的配置 --&gt; &lt;named-config name="test"&gt; &lt;!-- 连接数据库的4项基本参数 -...