你好杰米-CSDN博客

转载 Java简单生成二维码

package yy.ewm;import java.io.IOException;import java.nio.file.FileSystems;import java.nio.file.Path;import com.google.zxing.BarcodeFormat;import com.google.zxing.WriterException;import com.g...

2020-02-26 14:06:14 513

原创【不解释原理，纯干货】Java8 Stream日常用法合集

【1】取List<User>对象中的某一个属性例：比如要取出User对象中的userName作为一个新的ListList<String> collect = userList.stream().map(User::getUserName).collect(Collectors.toList());【2】取List<User>对象中的某一个属性或对象...

2019-06-03 14:48:44 391

原创 maven打包运行在服务器上ClassNotFoundException

本地调试看到依赖里有，开发环境部署运行也正常，测试环境上就是一直报错这种错就是得把测试上打好的包，拉下来，反编译一下看看有没有那个东西，结果发现没有原因是测试环境打包的时候私库估计没设置对，拉错了依赖版本有同样的错记得去看下到底有没有...

2019-03-25 14:24:30 1930 2

原创 gradle 自动打包shell

之前写了个gradle自动打包，移动到目录的shell，保存一下#!/bin/bashecho -e "自动化部署脚本"PROJECT_NAME="cerberus-1.0" # 名称默认用该名称作为发布项目的上级目录DIR_RELEASE_WEBAPPS=/run/media/root/disk1/jamie # 项目发布目录DIR_RELEASE_B...

2018-07-03 10:36:33 1587

这里提供一个示例：nohup java -Xmx5g -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=5005 -Dspring.profiles.active=preprodtest -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmx...

2018-07-03 10:33:26 5917

原创 Spring 使用RestTemplate请求

package com.httpc.controller;import org.springframework.http.HttpEntity;import org.springframework.http.HttpHeaders;import org.springframework.http.HttpMethod;import org.springframework.http.Medi...

2018-07-03 10:29:01 328

原创 sqoop的java操作，总结归纳，含代码

（下面说的操作hdfs其实和操作hive意思一样，都是文件夹）最近要在项目中加一个sqoop的功能，需求是将hive的数据导入至mysql，也就是export功能由于之前没用过sqoop，所以特地去学习怎么使用，这里总结下这两天了解到的简单内容首先sqoop有两个版本，1.4.X和1.99.X，前者俗称为sqoop1后者成为sqoop2，然后又有apache和cloudera两种sqoop1和sq...

2018-06-14 15:28:54 11025 12

原创 java使用sqoop1，gradle编译时缺少logredactor1.0.3包

最近使用sqoop1在java中，使用gtadle编译打包的时候，总是报无法加载org.cloudera.logredactor 1.0.3包，去maven 仓库查找有依赖地址，但是依赖地址的源仓库找不到这个文件，直接下载jar显示404，怪不得打包下载不进去，然后百度了一下发现这个有github上的项目，故自己下载下来用maven打包发布到本地仓库，然后让gradle走一下maven的本地仓库就...

2018-06-14 11:07:38 531 1

原创 java连接zookeeper服务器出现“KeeperErrorCode = ConnectionLoss for /test”

new ZooKeeper(host, 60000, new Watcher()）；host这里只写ip就行了比如 String host1 = "192.168.182.133";我是加了端口，然后就连不上

2018-05-28 17:24:17 13655 1

原创 linux下使用jps命令无效不显示内容

va程序启动后，默认（请注意是默认）会在/tmp/hsperfdata_userName目录下以该进程的id为文件名新建文件，并在该文件中存储jvm运行的相关信息，其中的userName为当前的用户名，/tmp/hsperfdata_userName目录会存放该用户所有已经启动的java进程信息。对于windows机器/tmp用Windows存放临时文件目录代替。而jps、jconsole、jvisualvm等工具的数据来源就是这个文件（/tmp/hsperfdata_userName/pid)。

2018-05-18 15:11:46 14930 2

原创 MyBaties查询出来的数据比数据库的少

原因：mybaties映射时使用主键判断唯一性，如果查询出来的数据集在映射文件配置中没有设置主键或者主键存在相同的情况下，MyBaties之映射其中一条解决方法：给查询出来的结果加上主键字段，在MyBaties的映射文件中也进行配置...

2018-05-17 09:35:21 2551

原创使用jdbc操作hive（impala）运行时报borken pipe错误

项目中需要使用hive来做查询，为了提高速度用了impala（jdbc地址没有变，驱动也还是hive，只是变了段口号）项目是springboot + gradle + dbcp + spring data hadoop项目中使用了spring新的HiveTemplate项目运行一段时间后，查询会报出borken pipe，有时也会报连接重置，这个问题找了很久，困惑了很久BasicDataSourc...

2018-05-16 17:50:22 5836

原创 java解析导入excel表格转为实体类javabean

最近公司需求解析excel，一开始使用poi做的挺好的，后来直接上了几十万条数据的excel文件，内存直接溢出了，网上查到apache poi还提供了专门处理海量数据的方法，使用sax解析，果然用了内存使用率下降，但是不能解析xls文件，只能解析xlsx文件，所以把工具简单封装了一下，如果是xls的用传统方式解析，如果是xlsx的大文件，用sax，这样灵活一定，详见md文件（建议前往githu...

2018-05-16 15:46:06 15643 7

原创 spring data hadoop操作hive，HiveTemplate的使用

HiveTemplate是一个spring data hadoop封装好的一个hive操作类，可以提供查询等方法，很方便，但是返回的数据能是一个字段首先需要一个数据源这里用dbcpBasicDataSource省略set。。。。。。然后创建一个类HiveClientFactoryHiveClientFactoryBean hiveClientFactoryBean = new HiveClient...

2018-05-14 19:45:02 5848

原创 spring data hadoop操作hdfs，生成avro文件并上传

1. 首先创建Configuration类Configuration config = new Configuration();2.然后创建DatasetRepositoryFactory类DatasetRepositoryFactory datasetRepositoryFactory = new DatasetRepositoryFactory();有三个方法setConf() 里面放Con...

2018-05-14 17:16:33 1211

原创 Jhipster安装过程，yoeman yo命令 Error: EACCES, permission denied

刚开始学习Jhipster，centos安装过程中在执行yo命令的时候出现错误Error: EACCES, permission denied 一直显示json文件权限不足，查看文件确实权限不足，首先尝试增权限后发现不起作用，结果发现是调用一次命令，json文件才被创建，所有修改权限根本不起作用。经过搜索，我自己从安装node.js开始用的都是root权限，解决方法就是首先卸载之前装的所有东西，包...

2018-05-07 13:47:57 2744

原创记一次使用sax方式解析excel仍内存溢出的问题

apache官方提供了使用sax方式处理大数据量的xlsx文件，可以防止内存的溢出，经过测试其实是占用的内存大大减少，但是最近在使用的时候发现使用了sax内存仍然会飙到2G，甚至3G，一开始找不到原因使用jmap -histo命令显示内存中创建的实例数量 num #instances #bytes class name--------------------------...

2018-04-26 11:28:14 1032

原创外部无法访问虚拟机【centos】hadoop50070管理页面

系统使用的是centos6.5，关闭了防火墙，linux和windows里外都能ping通但是虚拟机的linux浏览器可以通过ip和localhost访问50070管理页面而外面的windows不能，虚拟机连接方式是使用的hostonly解决方案：我查询了资料，先查看防火墙是否关闭，然后有博主说iptables已经关闭了，但是在开启一下再关闭，就可以访问了然后我先service iptables ...

2018-03-24 22:41:36 3523 1

原创 eclipse配置lombok却不能使用

springboot项目我按照网上手动配置一遍，不行然后java -jar的方式配置了一遍，还是不行最后发现，插件确实按上去了，然后对象的getset方法调用的时候还是报错解决方法：最后发现需要把@Data注解以及@Getter等删掉保存，然后再填上，在保存，就不报错了...

2018-03-19 16:53:48 10876 3

转载原码, 反码, 补码详解

转载本篇文章讲解了计算机的原码, 反码和补码. 并且进行了深入探求了为何要使用反码和补码, 以及更进一步的论证了为何可以用反码, 补码的加法计算原码的减法. 论证部分如有不对的地方请各位牛人帮忙指正! 希望本文对大家学习计算机基础有所帮助! 一. 机器数和真值在学习原码, 反码和补码之前, 需要先了解机器数和真值的概念.1、机器数一个数在计算机中的二进制表示

2017-10-09 23:07:32 178