自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(92)
  • 收藏
  • 关注

原创 2020-09-17

python3 安装thrift-sasl报错:Failed building wheel for sasl 解决方式安装thrift_sasl报错 sudo pip install thrift_saslLooking in indexes: https://mirrors.rong360.com/rong/pypi/+simpleCollecting thrift_saslCollecting thrift>=0.10.0 (from thrift_sasl)Requireme

2020-09-17 19:15:21 108

原创 Could not find an activated virtualenv (required)解决方案

Could not find an activated virtualenv (required)在执行pip install --upgrade pip时报错网上解决方案如下:https://www.e-learn.cn/content/wangluowenzhang/309242但以上解决方案都没有解决我的问题,最终我的解决方式如下,末尾加–isolated:sudo ./pip ...

2019-12-11 13:07:30 193

转载 SpringBoot集成shiro导致事务失效

https://segmentfault.com/a/1190000018778645

2019-09-09 15:38:09 254

原创 python2.7环境解决ImportError: No module named _tkinter

首先安装Tkinter模块:yum -y install tkinter再次运行import Tkinter后报错:Python代码Type “help”, “copyright”, “credits” or “license” for more information.import TkinterTraceback (most recent call last):Fil...

2019-08-15 17:22:03 5403

转载 optparse模块解析命令行参数的说明及优化

见博客:https://www.cnblogs.com/paulwhw/p/9065074.html

2019-08-14 17:46:42 56

原创 Python装饰器学习

一、装饰器是什么在代码运行期间不改变原函数定义的基础上,动态给该函数增加功能的方式,称之为装饰器。是一个很著名的设计模式二、装饰器的使用范围较为经典的有插入日志、性能测试、事务处理等。装饰器是解决这类问题的绝佳设计,有了装饰器,我们可以抽离出大量函数中与函数功能本身无关的雷同代码并继续重用。概况的讲,装饰器就是为已有的函数添加额外的功能。三、装饰器和闭包另外装饰器其实是个闭包,闭包就是:...

2019-07-01 21:11:26 80

原创 python初探(一)

Python初探(一)python的特点python的特点如何执行pythonpython的字符串类型更改文件的编码格式获取和更改系统编码判断字符编码类型常量数字逻辑值变量一些基本知识命名规则一些使用习惯数据类型变量赋值变量特性对象python保留字python程序块代码注释python的特点1、简单易学,功能强大2、高效率的高层数据结构3、简单而有效地实现面向对象编程4、简洁的语法和对...

2019-06-08 19:56:22 139

转载 grunt server报错:Warning: Task "server" not found. Use --force to continue.

jdk1.8环境ubuntu16.04系统 172.20.1.10 node-1ubuntu16.04系统 172.20.1.20 node-2ubuntu16.0.4系统 172.20.1.30 node-3安装elasticsearch版本:elasticsearch-6.2.2.tar.gz安装包下载路径(里边有6.2.2版本、6.4.2版本和...

2019-04-28 22:11:32 2891

转载 高并发环境下生成订单唯一流水号方法:SnowFlake

关于订单号的生成,一些比较简单的方案:1、数据库自增长ID优势:无需编码缺陷:大表不能做水平分表,否则插入删除时容易出现问题高并发下插入数据需要加入事务机制在业务操作父、子表(关联表)插入时,先要插入父表,再插入子表2、时间戳+随机数优势:编码简单缺陷:随机数存在重复问题,即使在相同的时间戳下。每次...

2019-04-09 16:55:53 651

原创 sqoop从hive导出到mysql报错: failed with state FAILED due to: Task failed

因为报错job任务失败,所以查看了job任务的日志找到原因:

2019-03-27 20:06:35 1900

原创 java中获取英文的星期方式

public class test4 { public static void main(String[] args) { System.err.println(getWeek(DateFormatUtil.StringYmd("2019-03-21"))); } public static String getWeek(Date date){ SimpleDateF...

2019-03-20 15:01:22 1177

转载 mybatis3中@SelectProvider的使用技巧

mybatis的原身是ibatis,现在已经脱离了apache基金会,新官网是http://www.mybatis.org/。mybatis3中增加了使用注解来配置Mapper的新特性,本篇文章主要介绍其中几个@Provider的使用方式,他们是:@SelectProvider、@UpdateProvider、@InsertProvider和@DeleteProvider。MyBatis 3 ...

2019-03-13 10:55:17 699

转载 MyBatis-Plus | 最优雅最简洁地完成数据库操作

<div><div class="cl-preview-section"><h2 id="引言">引言</h2>两点:一,使用MyBatis-Plus最新版(3.0.1)完成相关操作二,好久没写MyBatis操作数据库的博文了,有没有想我啊,哈哈,认真看,认真听,认真学。测试效果:下面听我细细道来,MyBat...

2019-03-02 01:02:56 372

原创 解决Caused by: java.lang.ClassNotFoundException: org.springframework.boot.SpringApplication

从git上更新了同事版本后突然项目启动不了了,惊了一跳。报错如下:百度半天都说是springboot版本问题,但我的springboot版本并没有动过。所以肯定不是版本问题。debug模式等都找不到原因,突然想起可以编译下试试。最后用gradle编译了下报错如下然后在gradle配置文件中注释掉相关包后,gradle更新后启动正常总结,开始的报错是找不到SpringApplicat...

2019-02-21 15:33:48 43973 1

转载 java 泛型详解-绝对是对泛型方法讲解最详细的,没有之一

java 泛型详解-绝对是对泛型方法讲解最详细的,没有之一 对java的泛型特性的了解仅限于表面的浅浅一层,直到在学习设计模式时发现有不了解的用法,才想起详细的记录一下。本文参考java 泛型详解、Java中的泛型方法、 java泛型详解1. 概述泛型在java中有很重要的地位,在面向对象编程及各种设计模式中有非常广泛的应用。什么是泛型?为什么要使用泛型?泛型,即“参数化类型...

2019-02-18 14:06:17 167

转载 Java总结篇系列:Java多线程(三)

本文主要接着前面多线程的两篇文章总结Java多线程中的线程安全问题。一.一个典型的Java线程安全例子 1 public class ThreadTest { 2 3 public static void main(String[] args) { 4 Account account = new Account("123456", 1000); 5 ...

2019-02-18 13:50:56 38

转载 Java总结篇系列:Java多线程(一)

多线程作为Java中很重要的一个知识点,在此还是有必要总结一下的。一.线程的生命周期及五种基本状态关于Java中线程的生命周期,首先看一下下面这张较为经典的图:上图中基本上囊括了Java中多线程各重要知识点。掌握了上图中的各知识点,Java中的多线程也就基本上掌握了。主要包括:Java线程具有五中基本状态新建状态(New):当线程对象对创建后,即进入了新建状态,如:Thread...

2019-02-18 13:49:18 64

转载 java泛型

一. 泛型概念的提出(为什么需要泛型)?首先,我们看下下面这段简短的代码: 1 public class GenericTest { 2 3 public static void main(String[] args) { 4 List list = new ArrayList(); 5 list.add("qqyumidi"); ...

2019-02-18 13:09:43 47

转载 完美配置Tomcat的HTTPS

yvfish 完美配置Tomcat的HTTPS 博客分类: Tomcat HTTPS   阅读更多 Tomcat配置HTTPS的文章到处都有,过程也比较简单,随后文中会转一段过来。但对于启用APR情况下报异常“java.lang...

2019-02-15 10:25:48 108

转载 Spring MVC全局异常后返回JSON异常数据

问题:        当前项目是作为手机APP后台支持,使用spring mvc + mybaits + shiro进行开发。后台服务与手机端交互是发送JSON数据。如果后台发生异常,会直接返回异常页面,显示异常内容,如果是404请求不到资源或者500这类服务器的问题,可能会导致返回404和500异常页面,手...

2019-02-14 13:44:11 596

原创 springBoot @Autowired注入对象为空原因总结

BankDAO类内容如下:package com.wiseco.engine.dao;Controller中内容:cacheTableMap.get(tableName)值为:com.wiseco.engine.dao.BankDAO结果调用controller执行refreshCache函数时报空指针异常,通过debug模式跟踪发现以下地方cacheJob对象是null。分析后...

2019-02-14 10:24:31 16492

转载 mysql datetime类型精确到毫秒、微秒的问题

mysql里面的datetime类型的精确度是可以到1/ 10 ^ 6 秒的 某些客户端(如navicat for mysql)的显示经常只能看到精确到秒,其实是设计表的时候的配置问题。如图,简单易懂。在”设计表”中,小数点这一列只能为0,就算填上别的数值,保存时候也会被改为0.可见只能为0. 长度这一栏,最大为6. 最小为0. 就是显示时间的时候的秒后面的小数点后的位数。 ...

2019-02-01 11:47:52 8689 1

转载 HIVE中的NULL处理

背景: 在此记录下使用 sqoop将数据从mysql导出到 hive过程中需要注意的几个地方,包括 NULL值处理、增量导入、parquet格式的日期类型注:这种数据传输工具其实没必要深究所有用法,用到哪块去研究下就行了Sqoop版本:1.4.6 - CDH5.13.0一、NULL处理1. ...

2019-01-30 10:35:47 3380

转载 sqoop从数据库到处数据到hdfs时mapreduce卡住不动解决

在sqoop时从数据库中导出数据时,出现mapreduce卡住的情况经过百度之后好像是要设置yarn里面关于内存和虚拟内存的配置项.我以前没配置这几项,也能正常运行。但是这次好像运行的比较大。出现此故障的原因应该是,在每个Docker分配的内存和CPU资源太少,不能满足Hadoop和Hive运行所需的默认资源需求。 解决方案如下:在yarn-site.xml中加入如下配置:...

2019-01-29 20:43:01 479

转载 Hive官方手册翻译--hive事务

目录一、Hive 3的警告二、什么是ACID,为什么要使用ACID呢?三、限制四、流式API五、语法变化六、基本设计6.1、 基础目录和增量目录6.2、 紧缩器6.2.1、  增量文件紧缩6.3、 事务/锁管理器七、配置参数7.1、 事务的新配置参数7.2、 为INSERT,UPDATE,DELETE设置的参数7.3、 为紧缩设置的参数八、表属性 正文由 Alan Ga...

2019-01-29 10:35:51 184

原创 sqoop增量导入时使用--merge-key报错

脚本内容:export SQOOP_HOME=/home/software/sqoop-1.4.4.bin__hadoop-2.0.4-alphaexport PATH=PATH:PATH:PATH:SQOOP_HOME/binsqoop import –connect jdbc:mysql://192.168.124.130:3306/test –username root –pas...

2019-01-28 20:33:09 1073

转载 sqoop增量导入常见问题

sqoop是干吗的,就不在这里浪费笔墨了,这里主要讲下一个新手接触到sqoop碰到的问题。一  业务场景 Hive 查询Hql的结果进入MySql,目前本人是通过两步来实现的,1 把hive查询结果直接进入Hive的表a(a表需要创建,结构需要和b一样)2 通过sqoop把表a的内容导入到MySql表b(b表已经存在),这个时候你需要现在hive上创...

2019-01-28 17:15:49 864

转载 HDFS JAVA API APPEND操作异常

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.背景关于这个异常的介绍可以查看hadoop exceptions 上面帖子中解释是两个配置项的问题,官方文档对这两个配置项的解释...

2019-01-28 17:14:38 122 2

转载 hadoop最新稳定版本使用建议

hadoop最新稳定版本使用建议 Apache HadoopApache版本衍化比较快,我给大家介绍一下过程ApacheHadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0。第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1....

2019-01-22 15:47:06 5723

原创 shell 日期加减运算

比如今日是2012-04-22$ date -d “+1 day” +%Y-%m-%d2012-04-23$ date -d “-1 day” +%Y-%m-%d2012-04-21$ date -d "2012-04-10 -1 day " +%Y-%m-%d2012-04-09$ date -d "2012-04-10 +1 day " +%Y-%m-%d2012-04-11...

2019-01-09 13:35:37 1366

原创 linux下用shell删除三天前或者三天内的文件

说明:+n 大于 n, -n 小于 n, n 相等于 n.find / -amin -30 -ls # 查找在系统中最后30分钟访问的文件find / -atime -2 -ls # 查找在系统中最后48小时访问的文件find / -mmin -10 -ls # 查找在系统中最后10分钟里修改过的文件find / -mtime -1 -ls # 查找在系统中最后24小时里修改过的文件fi...

2019-01-09 13:31:49 4867

转载 Spring boot打包为可部署在tomcat下运行的war文件的方法(使用Gradle、Intellij IDEA)

使用Gradle:dependencies { compile("org.springframework.boot:spring-boot-starter-web") providedCompile("org.springframework.boot:spring-boot-starter-tomcat")//此处使用providedCompile,则生成的jar包可放入to...

2019-01-08 15:32:50 313 1

转载 java代码写UTF-8编码文件的方法

Java代码  /** * 输出文件,编码为UTF-8 用记事本另存为:fileContent 全部为英文则为ansi 包含中文则为UTF-8 * @param filePathAndName * @param fileContent */ &nbsp

2019-01-08 09:22:29 634

转载 hive的用户和用户权限

HiverServer2支持远程多客户端的并发和认证,支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库,由于是内嵌的文件数据库,只支持一个用户的操作访问,支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库管理用户权限,其安全控制体系与Linux及Hadoop的用户是否存在联系。1)remote方式部署HiveHive中...

2019-01-07 20:13:18 93

转载 @Primary-在spring中常被忽视的注解

@Primary-在spring中常被忽视的注解 在spring 中使用注解,常使用@Autowired, 默认是根据类型Type来自动注入的。但有些特殊情况,对同一个接口,可能会有几种不同的实现类,而默认只会采取其中一种的情况下 @Primary  的作用就出来了。下面是个简单的使用例子。有如下一个接口public interface Singer { ...

2019-01-07 09:46:07 55

转载 通过jdbc连接hive

目前使用hive的方式主要有2种:a、仅把hive作为一个可以对文件使用sql查询的工具来使用,即常见的在hive客户端上,指定hive的metastore和hive的数据仓库目录(即hdfs目录),然后指定hadoop的目录以及相应执行的jar包即可,在命令行下调用:1 mammut@classb-ds-bigdata16:~/apache-hive-1.2.1-bin$ bin...

2019-01-05 21:54:36 866

转载 hive中动态表和静态表区别

虽然之前已经用过很多次hive的分区表,但是还是找时间快速回顾总结一下加深理解. 举个栗子,基本需求就是Hive有一张非常详细的原子数据表original_device_open,而且还在不断随着时间增长,那么我需要给它进行分区,为什么要分区?因为我想缩小查询范围,提高速度和性能. 分区其实是物理上对hdfs不同目录进行数据的load操作,0.7之后的版本都会自动创建不存在的hdfs的目录...

2019-01-04 12:03:51 859

转载 Hive和Hbase整合搭建步骤

Hive和HBase的通信意图Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的,其具体工作交由Hive的lib目录中的hive-hbase-handler-*.jar工具类来实现,通信原理如下图所示。Hive整合HBase后的使用场景:(一)通过Hive把数据加载到HBase中,数据源可以是文件也可以是Hive中的表。(二)通过整合,让HBase支持JOIN...

2019-01-02 11:34:53 861

转载 Hive和hbase集成操作

摘要Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询 应用场景1. 将ETL操作的数据存入HBase2. HBase作为Hive的数据源3. 构建低延时的数据仓库 使用1.从Hive中创建HBase表使用HQL语句创建一个指向HBase的Hive表...

2019-01-02 11:32:35 161

转载 Spring@RequestMapping注解使用技巧

在这篇文章中,你将会看到 @RequestMapping 注解在被用来进行 Spring MVC 控制器方法的映射可以如何发挥其多才多艺的功能的。Request Mapping 基础用法在 Spring MVC 应用程序中,RequestDispatcher (在 Front Controller 之下) 这个 servlet 负责将进入的 HTTP 请求路由到控制器的处理方法。在对 ...

2018-12-19 19:32:06 15017 1

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除