m0_38089730的博客

原创 postgresql groupby多个字段时查询很慢

select name,context,unit,setting,boot_val,reset_valfrom pg_settingswhere name in( 'listen_addresses','max_connection','shared_buffers','effective_cache_size','work_mem','maintenance_work_mem')order by context,name ;

转载 docker容器中post请求python脚本?乱码

背景：通过docker部署java项目把数据通过post请求发送给python项目处理，发送过去后通过debug发现中文都是??，处理出错。初步判断，java项目中post请求发送json数据编码不对，查看代码里设置了utf-8编码。再看看python项目中json处理设置是否不对，发现json字符串数据传到python中就是乱码。思考是否为docker容器中设置的编码不对：locale -a查看容器所有语言环境把docker编码设置为C.UTF-8在Dockerfile中添加一

原创 GeoServer初步使用

按着官方文档操作即可：安装：https://docs.geoserver.org/latest/en/user/installation/index.html#installation入门基本操作：https://docs.geoserver.org/latest/en/user/gettingstarted/shapefile-quickstart/index.html

原创 最新版docker 开启远程访问

修改docker.service文件vi/etc/systemd/system/multi-user.target.wants/docker.serviceExecStart 这行加入-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock如图：重新加载docker配置systemctl daemon-reload // 1，加载docker守护线程systemctl restart docker // 2，重启docker..

原创 python数组分组

#数据分组data = [1,2,3,4,5,6,7,8,9,10]#数据条数step = 2data_list = [data[i:i + step] for i in range(0, len(data), step)]print(data_list)输出结果：[[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]]

原创 获取图片拍摄时间，剪切移动，复制图片

获取图片信息引入依赖metadata-extractor，可以获取图片的详细信息metadata-extractor是 处理图片EXIF信息的开源项目，最新代码及下载地址：https://github.com/drewnoakes/metadata-extractor <dependency> <groupId>com.drewnoakes</groupId> <artifactId>metadata-extrac.

原创 hbase java代码增删查改

package com.zapoul;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.util.Bytes;import java.io...

原创 java连接hbase报错Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster

java连接hbase报错，因为hadoop配置了ha高可用，需要把hadoop的hdfs.xml文件放到resources文件夹就好了log4j:WARN No appenders could be found for logger (org.apache.hadoop.security.Groups).log4j:WARN Please initialize the log4j sy...

转载 修改mysql 编码格式 character_set_server='utf8';

set @@character_set_server='utf8';

原创 idea springboot整合hadoop

1.新建一个springboot项目，新增hadoop依赖。 <!-- hadoop 依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifa...

原创 kettle—Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver

kettle报错：Driver class 'org.gjt.mm.mysql.Driver' could not be found, make sure the 'MySQL' driver (jar file) is installed.1.数据库连接问题。这是kettle缺少数据库连接jar包所致,到官网下载mysql-connector-java,把数据库驱动包放置在da...

原创 Kettle 报错：Communications link failure during commit(). Transaction resolution unknown.

记录Kettle 报错：Communications link failure during commit(). Transaction resolution unknown.错误信息:2019/08/12 13:09:38 - 更新错误信息 2.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buil...

转载 Mysql密码忘记怎么修改？

1》首先将MySQL的服务关闭，两种方法：1，打开命令行输入net stop mysql或者net stop mysql5命令即可关闭MySQL服务。2，在运行窗口中输入services.msc打开服务窗口，找到mysql服务右键点击选择停止，即可关闭服务找到MYSQL服务右键点击选择停止，即可关闭服务2》打开MySQL安装路径，进入到bin目录中复制路径。3》打开命令...

转载 KETTLE大批量提交数据时出现丢失问题

之前在做ETL是，表输入控件中，设置批量提交，并且将【提交记录数】设置为10万，脚本正常执行完，没有报然后错误，但是目标表的数据行数只有源表的三分之一左右，出现了数据莫名丢失的情况，在交流群中求助，也没有谁能解答，百思不得其解。一次偶然的机会，在网上看到关于oracle的jdbc驱动，比较ojdbc6.jar与ojdbc14.jar的区别。提到ojdbc14.jar存在的一些bug，批量插入1...

原创 kettle简单查询增量数据案例

kettle配置如图：kettle做增量数据需要一个时间记录上次抽取/处理的时间，后续数据处理只要抽取的数据中有该时间大于上次抽取时间即可。1.获取增量时间2.把增量时间设置为转换/整个job的变量。变量范围可以是：JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量3.查询增量数据根据上次抽取时间将增量数...

转载 Kettle日常使用汇总整理

Kettle日常使用汇总整理Kettle源码下载地址：https://github.com/pentaho/pentaho-kettleKettle软件下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integrationkettle-plugin源码下载地址：https://gitee.com/niva...

转载 kettle抽取中文乱码问题

在数据抽取过程中出现中文乱码问题,可行解决办法有：打开Spoon.bat，在if “%PENTAHO_DI_JAVA_OPTIONS%”==”” set PENTAHO_DI_JAVA_OPTIONS=”-Xms1024m” “-Xmx2048m” “-XX:MaxPermSize=256m”后面加了”-Dfile.encoding=UTF-8”，再重启即可解决乱码。原文：https...

原创 kettle执行sql语句错误总结

kettle配置图：1.组件-字段选择报错：ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : 字段 {0} 已经被指定2次 (或更多) 使用同一个名字!原因：字段选择组件中重复选择了同一个字段导致报错。处理：字段选择中选择和修改字段需要唯一，删除重复选择的字段。如图：2.组件...

原创 goland下载地址

goland下载地址：https://www.jetbrains.com/go/go的sdk下载地址：https://golang.org/dl/官方学习指南：https://tour.go-zh.org/welcome/1中文api文档:https://studygolang.com/pkgdoc...

转载 关于切面方法内调用的内部方法无法被拦截问题的解决

拦截器的实现原理很简单，就是动态代理，实现AOP机制。当外部调用被拦截bean的拦截方法时，可以选择在拦截之前或者之后等条件执行拦截方法之外的逻辑，比如特殊权限验证，参数修正等操作。但是如果现在一个需求是，当外部调用拦截bean的时候，不但要执行拦截当前方法，如果当前方法内部同时调用了其他内部方法，也要被拦截。按照目前的拦截器实现逻辑，是无法拦截当前方法内部调用的方法的，这样说有点抽象，看一个代码...

原创 Java类如果定义了有参构造函数没有无参构造函数，用 class.newInstance()会报异常java.lang.InstantiationException

@Getter@Setter@AllArgsConstructorpublic class Persion { private Integer age; private String name; public static void main(String[] args) { try { Persion.class.ne...

转载 @Data使用引出lombok

在项目中开发，对于pojo中经常会使用@Data注解@Entity@Datapublic class Cat { /** * 使用@Id指定主键 *使用@GeneratedValue(strategy = GenerationType.AUTO)指定主键生成策略，mysql默认自增长 */ @Id @GeneratedValue(st...

转载 图片

转载 2、SpringBoot配置fastJson

public HttpMessageConverters fastJsonHttpMessageConverters(){ //1.需要定义一个Convert转换消息的对象 FastJsonHttpMessageConverter fastConverter=new FastJsonHttpMessageConverter(); //2.添加fastjson的配置信息，比如是否要格式化返回的json数据 FastJsonConfig fastJsonConfig=new F

转载 1、SpringBoot注解及特性介绍

@SpringBootApplication : SpringBoot应用标注在某个类上说明这个类是SpringBoot的主配置 类，SpringBoot就应该运行在这个类的main方法来启动SpringBoot应用。@SpringBootConfiguration: SpringBoot配置类，标注在某个类上表明这个类是一个SpringBoot的配置类@Configuration： 配置类来...