玉de王小狗-CSDN博客

转载关于Hive 在分区表中新增字段数据始终为NULL的问题

转载：https://blog.csdn.net/qq_36743482/article/details/78406963就是在hive中删掉相应的分区，去存储位置上删除不起作用

2019-03-07 16:58:57 415

原创 Task not serializable

出问题代码：package com.data.Spark_learn;import java.util.Arrays;import java.util.Iterator;import org.apache.commons.lang3.StringUtils;import org.apache.spark.SparkConf;import org.apache.spark.api...

2018-10-12 15:11:20 1085

原创 Schema initialization FAILED! Metastore state would be inconsistent !!

schematool -dbType mysql -initSchema时报错。网上教程都是说在文件头部加上mysql的连接配置，但是hive-site.xml.templat中原本是有derby的配置，这样就会被下面的derby配置覆盖，导致初始化失败。方法就是可以将mysql配置放在最下面，或者删除derby的配置...

2018-09-26 14:37:01 4696

原创 org.dom4j.DocumentException: Error on line 1 of document : 前言中不允许有内容。 Nested exception: 前言中不允许有内容。

requestLqOdds.substring(1);因为XML文件有个不可见的bom头，把它截取掉就可以

2018-08-07 17:07:37 12336 3

原创 Found non-empty schema `data-system` without metadata table! Use init() or set initOnMigrate to true

flyway.baseline-on-migrate 当迁移时发现目标schema非空，而且带有没有元数据的表时，是否自动执行基准迁移，默认false；所以将其改为true <bean id="flyway" class="org.flywaydb.core.Flyway" init-method="migrate"> <property na...

2018-07-24 21:43:21 6003

原创 MyBatis-Generator使用

1.在Maven中加入依赖 <dependency> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-core</artifactId> <version>1.3.7</v...

2018-07-14 15:24:37 156

原创 Mongo or查询优化与建立索引

db.getCollection('user').find({"$or":[{"userNo":"20180326001"},{"phone":"158***8973"},{"imei":"lah9123"}]})用户编号，手机号，设备号三个条件进行or查询，可以有多种创建索引的方式，比如：1.创建userNo_-1_phone_-1_imei_-1的联合索引2.创建单

2018-03-30 15:20:03 1906

原创 2018-02-09

MySQL数据库有25w条数据（例如字段id,s,p,f），然后根据 sum = |参数a-数据库a| + |参数b-数据库b| 找到最小sum的那条记录，尝试写sql语句select t1.id from (select id,(ABS(0.2346 -t.s) +ABS(0.7578-t.p)) as sum from tool t) t1 ORDER BY sum asc...

2018-02-09 16:39:36 146

原创 Spring知识点（一）装配Bean

1.装配：创建应用对象之间协作关系的行为；2.Spring三种主要的装配机制：在XML中进行显式配置在Java中进行显式配置（推荐次之）隐式的bean发现机制和自动装配（推荐）3.Spring自动装配的两个角度：组件扫描（component scanning）：Spring会自动发现应用上下文中所创建的bean自动装配（autowiring）：Spring自动满足bean之间的依赖3.1

2018-02-05 21:45:14 144

原创 Build path is incomplete. Cannot find class file for javax/servlet/ServletException

Maven依赖下javax.servlet-api就可以 javax.servlet javax.servlet-api 4.0.0 provided

2018-01-30 10:23:43 1825

原创 Spring Data Redis简单搭建

1.pom依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependency> <dependency>

2017-07-27 21:48:49 165

在本地tomcat上运行个项目，速度很快，但是放到Linux上就卡死了INFO: Root WebApplicationContext: initialization completed in 397 ms这行日志打印完就卡住了，过了好久，才启动成功，然后发现这段日志Jul 27, 2017 10:46:40 AM org.apache.catalina.util.SessionIdGenerato

2017-07-27 11:44:55 226

原创 Spring Data Mongo单元测试Junit

在学习Mongo查询之前，先把Junit搭建好。在POM中添加junit依赖  <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version>

2017-07-25 23:37:17 1789

原创 Spring Data Mongo简单搭建

最近的项目都是和Mongo打交道，采用Spring Data进行连接。  <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-commons</artifactId>

2017-07-25 21:31:10 301

原创 FastJson、Jackson、Gson、Json的效率简单对比

今天上班优化代码的时候，发现从Redis中取出List<Map<String,String>>格式的json字符串，通过net.sf.json将其转成List的时候，如果List.size()在1000左右时，消耗处理时间为1000ms，效率非常低；然后搜了下java解析json常用api，发现alibaba的fastJson处理效率还是不错的，当size在1000左右时，也就不足100ms。

2017-07-20 23:44:49 4763

原创枚举类型

—源于《Java编程思想》1.定义一个简单的枚举public enum CityEnum { Beijing, Shanghai, Guangzhou}然后写个测试方法测试枚举的相关功能public class MainTest { public static void main(String[] args) { for (CityEnum city : City

2017-07-18 21:20:21 189

原创 Java中栈、堆的简单了解

《JAVA疯狂讲义》中讲到数据可以存储到五个地方：寄存器。最快的存储区，位于处理器内部栈。次于寄存器，位于通用RAM（随机访问存储器）堆。通用的内存池（也位于RAM区）常量存储。代码非RAM存储。例如流对象和持久化对象栈（Stack）定义：限制仅在表的一端进行插入和删除操作的线性表，允许插入和删除的一端为栈顶，不允许的为栈底；特点：后进先出（Last In First Out），简称

2017-07-17 23:46:51 177

原创 Spring Web MVC项目搭建（二）Swagger搭建

Maven引入swagger相关jar包<dependency> <groupId>com.mangofactory</groupId> <artifactId>swagger-springmvc</artifactId> <version>1.0.2</version></dependency>2.创建config类package com.love.yu.config;

2017-07-07 00:14:44 816

原创 Spring Web MVC项目搭建（一）

1. Maven创建项目 2. 添加spring的依赖 pom中需要的jar包可以在https://mvnrepository.com/中找到，比如我们先引入spring-webmvc的包<dependency> <groupId>org.springframework</groupId> <artifactId>spring-webmvc</artifactId>

2017-07-06 00:45:39 228

原创 Spring Tool Suite创建Web项目（学习Maven和Spring）

新公司使用的开发工具是Spring Tool Suite，是针对于Spring开发而在Eclipse的基础上产生的便捷开发工具，创建以Spring为框架的项目十分方便，无需自己配置基本信息，而是依靠SpringBoot完成。借着学习工具的同时，顺便全面点的了解下Maven和Spring的知识，之前都是泛泛的在项目中学习，没能系统的学习下。 1.File->Spring Starter Proje

2017-06-28 22:11:13 1993

qq_22650745的博客