- 博客(46)
- 收藏
- 关注
RSS订阅原创 Spark入门（七）Spark SQL thriftserver/beeline启动方式
一、启动thrift服务启动thriftServer，默认端口为10000,。--jars 添加worker类库--driver-class-path 驱动类库--master spark集群地址--hiveconf hive.server2.thrift.port 启动端口spark-2.4.4/sbin/start-thriftserver.sh --master s...
2020-01-31 21:37:28
1473
原创 Spark入门（六）Spark SQL shell启动方式(元数据存储在mysql)
一、hive配置文件在spak/conf目录添加hive-site.xml配置，设置mysql作为元数据存储的数据库<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><confi...
2020-01-31 16:17:37
983
原创 Spark入门（五）Spark SQL shell启动方式(元数据存储在derby)
一、spark-sql shell介绍Spark sql是以hive SQL提交spark任务到spark集群执行。由于spark是计算框架没有存储功能，所有spark sql数据表映射关系存储在运行shell的当前目录下metastore_db目录里面（spark默认使用derby数据库创建的本地存储，使用其他非本地数据库没有此目录），切换不同的目录启动spark-sql shell会创...
2020-01-31 14:36:30
2436
原创 Spark入门（四）Idea远程提交项目到spark集群
一、依赖包配置scala与spark的相关依赖包，spark包后尾下划线的版本数字要跟scala的版本第一二位要一致，即2.11pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www....
2020-01-30 21:59:29
1669
原创 Spark入门（三）Idea构建spark项目
一、依赖包配置scala与spark的相关依赖包，spark包后尾下划线的版本数字要跟scala的版本第一二位要一致，即2.11pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www....
2020-01-30 21:38:54
448
2
原创 Spark入门（二）多主standalone安装
一、集群安装条件前置实验spark安装在【Hadoop生态Zookeeper安装】机器上， 已完成安装zookeeper、jdk、hadoop和ssh、网络等配置环境等。spark所依赖的虚拟机和操作系统配置环境：ubuntu14 + spark-2.4.4-bin-hadoop2.6 +apache-zookeeper-3.5.6+jdk1.8+ssh虚拟机：（vmware...
2020-01-28 17:23:47
248
原创 Hadoop生态Zookeeper安装
一、安装条件前置实验zookeeper安装在【Hadoop入门（二）集群安装】机器上，已完成安装jdk,hadoop和ssh配置环境等。zookeeper所依赖的虚拟机和操作系统配置环境：ubuntu14 + apache-zookeeper-3.5.6-bin.tar + jdk1.8+ssh虚拟机：（vmware10）二、zookeeper安装环境设置（1）下载...
2020-01-28 12:45:48
303
原创 Spark入门（一）单主standalone安装
一、集群安装条件前置实验spark安装在【Hadoop入门（二）集群安装】机器上， 已完成安装jdk,hadoop和ssh、网络等配置环境等。spark所依赖的虚拟机和操作系统配置环境：ubuntu14 + spark-2.4.4-bin-hadoop2.6+jdk1.8+ssh虚拟机：（vmware10）二、standalone安装环境设置（1）下载sparks...
2020-01-28 11:41:44
293
转载 ssh免密登陆失败原因总结（Linux）
转载自ssh免密登陆失败原因总结（Linux）1. SSH公钥认证（免密码）配置登录到本机服务器A，切换到响应的操作系统用户，执行命令，生成秘钥文件【按照提示直接回车】ssh-keygen -t rsa将公钥传送到对端服务器B上面【user@host为对端服务器帐号及IP】ssh-copy-id -i ~/.ssh/id_rsa.pubuser@host然后在本机服务器A上s...
2020-01-28 11:35:52
6558
2
翻译 jsdiff 比较文本内容差异
翻译自jsdiffJavaScript文本内容差异实现。基于"An O(ND) Difference Algorithm and its Variations" (Myers, 1986)中提出的算法 。安装npm install diff --saveAPI Diff.diffChars(oldStr, newStr[, options])-区分两个文本块...
2020-01-27 13:06:06
12594
转载 mybatis源码阅读(八) ---Interceptor了解一下
转载自mybatis源码阅读(八) ---Interceptor了解一下1 IntercetorMyBatis 允许你在已映射语句执行过程中的某一点进行拦截调用。默认情况下，MyBatis允许使用插件来拦截的方法调用包括：Executor (update, query, flushStatements, commit, rollback, getTransaction, clos...
2020-01-27 12:57:03
380
转载 mybatis源码阅读(七) ---ResultSetHandler了解一下
转载自mybatis源码阅读(七) ---ResultSetHandler了解一下1、MetaObjectMetaObject用于反射创建对象、反射从对象中获取属性值、反射给对象设置属性值，参数设置和结果封装，用的都是这个MetaObject提供的功能。public static MetaObject forObject(Object object, ObjectFactory ...
2020-01-27 12:53:48
348
转载 mybatis源码阅读(六) ---StatementHandler了解一下
转载自mybatis源码阅读(六) ---StatementHandler了解一下StatementHandler类结构图与接口设计BaseStatementHandler：一个抽象类，只是实现了一些不涉及具体操作的方法RoutingStatementHandler：类似路由器，根据配置文件来路由选择具体实现类SimpleStatementHandler、CallableSta...
2020-01-27 12:50:23
437
转载 mybatis源码阅读(五) ---执行器Executor
转载自mybatis源码阅读(五) ---执行器Executor1.Executor接口设计与类结构图public interface Executor { ResultHandler NO_RESULT_HANDLER = null; // 执行update，delete，insert三种类型的sql语句 int update(MappedStatement ms...
2020-01-27 12:46:40
321
转载 mybatis多个参数(不使用@param注解情况下)，sql参数占位符正确写法
转载自mybatis多个参数(不使用@param注解情况下)，sql参数占位符正确写法useActualParamName配置useActualParamName 允许使用方法签名中的名称作为语句参数名称。 为了使用该特性，你的工程必须采用Java 8编译，并且加上-parameters选项。（从3.4.1开始） true | false true mybatis...
2020-01-27 12:38:08
1381
转载 mybatis源码阅读(四)：mapper(dao)实例化
转载自 mybatis源码阅读(四)：mapper(dao)实例化在开始分析之前，先来了解一下这个模块中的核心组件之间的关系，如图：1.MapperRegistry&MapperProxyFactoryMapperRegistry是Mapper接口及其对应的代理对象工程的注册中心，Configuration是Mybatis全局性的配置对象，在初始化的过程中，所有配置信息...
2020-01-27 12:33:28
420
转载 mybatis源码阅读(三)：mybatis初始化（下）mapper解析
转载自mybatis源码阅读(三)：mybatis初始化（下）mapper解析MyBatis 的真正强大在于它的映射语句，也是它的魔力所在。由于它的异常强大，映射器的 XML 文件就显得相对简单。如果拿它跟具有相同功能的 JDBC 代码进行对比，你会立即发现省掉了将近 95% 的代码。MyBatis 就是针对 SQL 构建的，并且比普通的方法做的更好。SQL 映射文件有很少的几个顶级元素...
2020-01-27 12:29:06
702
转载 mybatis源码阅读(二)：mybatis初始化上
转载自mybatis源码阅读(二)：mybatis初始化上1.初始化入口//Mybatis 通过SqlSessionFactory获取SqlSession, 然后才能通过SqlSession与数据库进行交互private static SqlSessionFactory getSessionFactory() { SqlSessionFactory sessionFacto...
2020-01-27 12:24:14
307
转载 mybatis源码阅读(一)：SqlSession和SqlSessionFactory
转载自mybatis源码阅读(一)：SqlSession和SqlSessionFactory一、接口定义听名字就知道这里使用了工厂方法模式，SqlSessionFactory负责创建SqlSession对象。其中开发人员最常用的就是DefaultSqlSession（1）SqlSession接口定义public interface SqlSession extend...
2020-01-27 12:18:06
424
转载 Mongodb常见问题
转载自Mongodb常见问题一.数据库级锁MongoDB的锁机制和一般关系数据库如 MySQL（InnoDB）, Oracle 有很大的差异，InnoDB 和 Oracle 能提供行级粒度锁，而MongoDB 2.x 只能提供 库级粒度锁，这意味着当 MongoDB 一个写锁处于占用状态时，其它的读写操作都得干等。MongoDB 使用的是“readers-writer”锁， 可以...
2020-01-26 19:39:29
389
转载 JS document.execCommand实现复制功能
转载自JS document.execCommand实现复制功能最近项目中需要实现功能：点击button，复制input框的值；我使用的是document.execCommand('copy')的方法；但是很郁闷的是，始终实现不了功能；代码如下HTML代码（v-model是vue框架中的双向数据绑定，不懂的请移步vue文档）<input id='input_u...
2020-01-26 19:35:43
485
转载 mybatis3中@SelectProvider的使用技巧
转载自mybatis3中@SelectProvider的使用技巧mybatis3中增加了使用注解来配置Mapper的新特性，本篇文章主要介绍其中几个@Provider的使用方式，他们是：@SelectProvider、@UpdateProvider、@InsertProvider和@DeleteProvider。MyBatis 3 User Guide中的最后一章描述了注解的简单用法，但是对...
2020-01-25 12:09:33
483
转载 springboot手动提交kafka offset
转载自springboot手动提交kafka offsetenable.auto.commit参数设置成了false但是测试发现enable.auto.commit参数设置成了false，kafka的offset依然提交了（也没有进行人工提交offset）。查看源码如果我们enable.auto.commit设置为false，那么就会走标红的if语句。而且下面有个stopIn...
2020-01-24 13:58:01
3859
转载 maven中scope属性的
转载自maven中scope属性的Dependency Scope在POM 4中，<dependency>中还引入了<scope>，它主要管理依赖的部署。目前<scope>可以使用5个值：* compile，缺省值，适用于所有阶段，会随着项目一起发布。* provided，类似compile，期望JDK、容器或使用者会提供这个依赖。如servl...
2020-01-24 13:55:15
436
转载 SpringBoot整合kafka(实现producer和consumer)
转载自SpringBoot整合kafka(实现producer和consumer)在Windows环境下安装运行Kafka：https://www.jianshu.com/p/d64798e81f3b本文代码使用的是Spring Boot 2.1.1.RELEASE 版本<parent> <groupId>org.springframework.bo...
2020-01-23 16:03:54
399
转载 Consul集群搭建
转载自Consul集群搭建概述作为服务发现的几种产品，比较可以查看这里。Consul官方也提供了几种产品之间的比较，点击查看。服务发现产品Consul有很多组件，但总体来说，它是一个发现和配置服务工具，特性：服务发现 Service Discovery: Clients of Consul can provide a service, such as api or mys...
2020-01-23 15:57:00
459
转载 mysql出现unblock with 'mysqladmin flush-hosts'
转载自mysql出现unblock with 'mysqladmin flush-hosts朋友发来消息，说一个系统应用登录的时候提示连接超时，让帮忙处理一下。问他应用和数据库是否都正常，回复说数据库好像没有问题，但是应用日志报无法连接数据库。数据库版本是：5.5.53让他telnet数据库是否是通的，回复说不通，并发来了信息提示：# telnet 8.8.9.9 33...
2020-01-23 15:37:04
2002
转载 详解proxy_pass、upstream与resolver
转载自详解proxy_pass、upstream与resolver应用场景这里列举几个应用场景，下文会针对这几个场景并结合代码进行分析。（1）proxy_pass + upstream upstream foo.example.com { server 127.0.0.1:8001; } server { listen ...
2020-01-23 15:32:58
2097
转载 解决idea启动项目报错:Unable to open debugger port(127.0.0.1:60157):java.net.SocketException"socket closed
转载自解决idea启动项目报错:Unable to open debugger port(127.0.0.1:60157):java.net.SocketException"socket closed1.问题描述:工作当中免不了要重启服务,debug模式下偶尔启动项目,却启动失败报错:Unable to open debugger port (127.0.0.1:60157): ja...
2020-01-23 15:26:47
4184
转载 解决mybatis generator无法覆盖XML
转载自解决mybatis generator无法覆盖XML今天发现mybatis generator maven plugin在重复生成的时候xml文件只会merge，不会覆盖。明明在pom.xml中配置了如下：<configuration> <configurationFile>src/main/resources/mybatis/generat...
2020-01-23 15:23:10
1380
转载 springboot 多数据源mybatis的两种整合方法
转载自springboot-mybatis多数据源的两种整合方法简介：随着并发量的不断增加，显然单个数据库已经承受不了高并发带来的压力。一个项目使用多个数据库（无论是主从复制- - 读写分离还是分布式数据库结构）的重要性变得越来越明显。传统项目中（个人对传统项目的理解就是所有的业务模块都在一个tomcat中完成，多个相同的tomcat集群也可认为是传统项目）整合多数据源有两种方法：分包和...
2020-01-22 16:22:36
498
原创 SpringBoot2.1.9 多数据源Mybatis—JDBC配置
一、配置文件pom.xm <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId></dependency><dependency>...
2020-01-22 16:04:44
366
原创 SpringBoot2.1.9 多数据源JDBC配置
一、配置文件pom.xm<dependency> <groupId>org.springframework</groupId> <artifactId>spring-jdbc</artifactId> <version>5.1.10.RELEASE</version></depen...
2020-01-22 14:29:37
510
原创 SpringBoot2.1.9 多Redis Jedis配置
一、配置文件pom.xml<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></dependency><dependency&g...
2020-01-22 12:46:31
1454
转载 Hadoop生态hive（四）数据类型
转载自Hive数据类型一、列类型列类型被用作Hive的列数据类型。它们如下：（1）整型整型数据可以指定使用整型数据类型，INT。当数据范围超过INT的范围，需要使用BIGINT，如果数据范围比INT小，使用SMALLINT。 TINYINT比SMALLINT小。下表描述了各种INT数据类型：类型 后缀 示例 TINYINT Y 10Y S...
2020-01-22 12:07:56
505
原创 SpringBoot @Resource注入的坑
一、场景复现双kafka消费者配置（1）第一个kafkapublic class OneKafkaConfig { @Bean public KafkaListenerContainerFactory oneKafkaFactory(@Resource ConsumerFactory oneConsumerFactory) { ConcurrentK...
2020-01-21 14:42:05
3604
原创 SpringBoot2.1.9 多Redis Lettuce配置
一、配置文件pom.xml<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></dependency>application.yml...
2020-01-21 11:49:01
1582
原创 SpringBoot2.1.9 多MongoDB配置template
一、配置文件pom.xml<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId></dependency>applicatio...
2020-01-21 09:36:11
2200
转载 面试官让我讲讲Java中的锁，我笑了
转载自面试官让我讲讲Java中的锁，我笑了在读很多并发文章中，会提及各种各样锁如公平锁，乐观锁等等，这篇文章介绍各种锁的分类。介绍的内容如下： 公平锁/非公平锁 可重入锁 独享锁/共享锁 互斥锁/读写锁 乐观锁/悲观锁 分段锁 偏向锁/轻量级锁/重量级锁 自旋锁 上面是很多锁的名词，这些分类并不是全是指...
2020-01-18 20:29:41
272
原创 SpringBoot2.1.9 分布式锁ShedLock不执行坑
一、起由@Configuration@EnableScheduling@EnableSchedulerLock(defaultLockAtMostFor = "PT30S")public class TimerTaskConfig implements SchedulingConfigurer { @Bean public LockProvider scheduled...
2020-01-18 14:35:56
4485
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人