- 博客(29)
- 收藏
- 关注
RSS订阅原创 maven打包报错问题
最近因为新项目有很多自定义的jar包，而且占内存很多，就直接拷贝过来，新开了一个maven仓库，用的时候没有问题，但是打包一直编译不通过。首先要看一下项目中maven的配置本地安装maven的路径，和maven仓库的位置这个配置正确，一般情况下是没有问题的，但是如果本地有不止一个maven库的话，就要查看settings文件里面配置的localRepository，是否是你要用的那个mav...
2019-08-07 11:21:12
1245
原创 数据库内置函数及自定义函数
一、数据库内置函数二、数据库自定义函数1、自定义函数的作用：- 提高SQL语句的重用性，共享性和可移植性； - 减少重复代码的编写，提高程序的可读性； - 能够实现较快的执行速度，减少网络流量，提高程序编译和运行效率。2、自定义函数语法： CREATE FUNCTION 函数名（ 变量名称 类型， 变量名称 类型 ） RETURNS 类型 BEGIN ...
2019-08-05 10:09:37
4279
原创 git 常用命令
此次主要给出开发过程中会遇到的命令，和这次研究的git stash命令的使用git add添加所有：git add .添加某个文件：git add 文件名添加多个文件：git add "文件1" "文件2" "文件3" ······（此处用空格隔开，用逗号应该也可以，没试过）git commit提交所有文件： git commit -m '描述信息'提交多个文件： git comm...
2019-07-25 18:24:46
227
原创 java自定义注解实现日志功能
一、spring aop的通知类型1、前置通知（@Before）：在连接点前执行，不会影响连接点的执行，除非抛异常；2、后置通知（@AfterReturning）：在连接点正常执行完成后执行，若连接点抛出异常，则不执行；3、后置通知（@AfterThrowing）：在连接点抛出异常后执行；4、后置通知（@After）：在连接点执行完成后执行，不管有无异常，都会执行通知；5、环绕通知（@A...
2019-07-17 10:16:19
4691
4
原创 Docker的安装及常用命令
一、Docker的安装配置apt允许以HTTPS方式拉取镜像安装：$ sudo apt-get install \apt-transport-https \ca-certificates \curl \software-properties-common添加Docker官方GPG key:$ curl -fsSL https://download.docker.com/l...
2019-06-25 13:58:00
178
原创 Spark常用算子
Spark 算子大致可以分为以下三类:1.Value数据类型的Transformation算子，这种变换并不触发提交作业，针对处理的数据项是Value型的数据。2.Key-Value数据类型的Transfromation算子，这种变换并不触发提交 作业，针对处理的数据项是Key-Value型的数据对。3.Action算子，这类算子会触发SparkContext提交Job作业例子：1、...
2019-04-15 14:49:31
4399
转载 Hive内部表和外部表，分区表和分桶表的区别详解
转：https://blog.csdn.net/qq_36743482/article/details/78393678
2019-04-08 16:32:35
1064
原创 HDFS架构及高可用
一. HDFS1.流式数据：关注数据的时效性，数据一点一点的流过来，一点一点的处理，而不是积攒起来一起处理。2.hdfs的基础结构：client，namenode，datanode，secondarynamenode四部分组成。...
2019-04-02 17:12:17
1383
原创 kafka，flume的常用指令
一.kafka创建topic：./bin/kafka-topics.sh --create --zookeeper 172.16.101.10:2181 --replication-factor 1 --partitions 1 --topic test查看当前服务器中的所有topic：./bin/kafka-topic.sh --list --zookeeper 172.16.101.10:...
2019-03-27 10:09:29
185
原创 数据库的常用操作
1.授权：GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;flush privileges;2.导出导入数据库：导出数据库到某个文件：mysqldump -d 数据库名 表名 文件名 （表名省略为导出整个数据库，表名为多个用逗号隔开）将数据导入数据库：source 文件路径...
2019-03-07 14:23:47
111
原创 项目种有自定义的jar包，同时引入第三方插件，在liunx上的部署问题
最近项目中引入了kettle里的elasticsearch-bulk-insert-plugin插件，开始部署在windows上没有问题，后来部署到liunx启动不了，总结一下部署步骤1.将发行版kettle拷贝到liunx系统，解压在项目中引入插件在liunx系统中所在的位置2.在liunx系统打包maven库中不存在的自定义的包mvn install:install-file -Df...
2019-03-05 10:53:09
264
转载 替换kettle中的elasticsearch版本
https://blog.csdn.net/ukakasu/article/details/82215964
2019-02-26 18:11:05
1625
3
转载 springboot定时任务参数详解
https://blog.csdn.net/github_38151745/article/details/79224995
2019-02-26 10:30:06
1317
原创 mave项目创建中的问题
1.修改默认的jdk修改改路径下的settings.xml，添加如下配置<profile><id>jdk-1.8</id><activation><activeByDefault>true</activeByDefault><jdk>1.8</jdk></a
2019-01-11 15:10:02
190
原创 ubuntu下Elasticsearch及Elasticsearch-Head插件的安装
1. Elasticsearch的安装1.1 解压1.2 启动启动报错，因为es文件夹是root用户的，修改所属用户即可：sudo chown -R soyuan:soyuan 文件夹，1.3 远程浏览器访问访问失败：修改如下配置即可，设置访问的ip并允许跨域，但是此时启动不了，报错如下：因为该用户拥有的内存权限不够，到/etc/sysctl.conf文件下修改即可：添加一行...
2018-12-06 18:27:07
349
原创 springboot框架下项目在liunx机器上部署
springboot自带tomcat，只需要将本地的maven项目打包放到liunx即可。步骤如下：1.本地打包（1）确定本地maven环境变量配置正确，如下即可：（2）到项目路径下，和pom.xml同级目录，进行打包出现build success即可，在target目录下打包完成2.部署到liunx（1）先用WSCP/Xshell的文件传输将打好的包放到liunx系统上（2...
2018-12-05 17:41:40
243
原创 Hive的DDL+DML
1.DDL操作（1）数据库DDL a.查看所有数据库：show databases (like 模糊查询字符串); b.创建数据库：create database if not exists dbName; c.删除数据库：drop database if exists dbName (cascade); cascade—数据库下有表时，加该字段可强制删除数据库 d.修改数据库：alt...
2018-11-13 21:22:25
226
原创 linux命令
1.mv 原文件名 新文件名：修改文件名2.tar -zxvf 压缩文件：解压.tar.gz文件3.rm -rf 文件名：级联删除
2018-11-09 18:34:01
211
原创 RabbitMQ和kafka的区别
1.应用场景方面RabbitMQ：用于实时的，对可靠性要求较高的消息传递上。kafka：用于处于活跃的流式数据，大数据量的数据处理上。2.架构模型方面producer，broker，consumerRabbitMQ：以broker为中心，有消息的确认机制kafka：以consumer为中心，无消息的确认机制3.吞吐量方面RabbitMQ：支持消息的可靠的传递，支持事务，不支持批量操...
2018-11-08 11:20:25
39661
6
原创 ubuntu系统的mysql+hadoop+hive环境搭建
$ mkdir /usr/lib/jvm #创建jvm文件夹$ sudo tar zxvf jdk-7u80-linux-x64.tar.gz -C /usr/lib #/ 解压到/usr/lib/jvm目录下$ cd /usr/lib/jvm #进入该目录$ mv jdk1.7.0_80 java #重命名为java$ vi
2018-10-29 17:17:37
1952
原创 在windows系统上用navicat连接远程liunx系统的mysql数据库
问题描述：在ubuntu上装了一个mysql为数据源的hive数据库，通过xshell连接操作没有问题，我想在windows系统上使用工具连接，但是一直报Can’t connect to MySQL server on’XXXXX’的问题。问题分析：1.可能是网络不统 ，ping XXXX2.安装mysql的服务器上，my.cnf配置文件里配置了skip_networking或者bind_...
2018-10-10 11:39:56
468
原创 Hadoop启动问题
问题描述：装好的时候启动是没问题的，几天没用启动hive的时候就一直报hadoop拒绝连接，发现原来是没有NameNode节点。解决办法：停止hadoop：stop-all.sh删除hadoop安装路径下的tmp目录：rm -rf tmp重新格式化：hdfs namenode -format重新启动hadoop：start-all.sh这样就有namenode了，启动成功。...
2018-10-10 10:08:30
183
原创 ubuntu系统安装谷歌浏览器
看网上有很多说下载jar包，解压安装，我对liunx系统的界面操作不熟练，还是喜欢用命令行操作。1.sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/2.wget -q -O - https://dl.google.com/linux/linux_signing_...
2018-09-28 15:36:26
703
2
原创 java调用kettle Api生成excel入库的转换文件
excel入库的转换文件，实际上就是拼TransMeta对象，直接上这几天的成果，我这个还是比较简单的excel转换，还有一些复杂的参数没有添加，后期会在使用的过程中完善。生成转换文件：public void excelToDatabase(ExcelToDBDto dto){ try { TransMeta generateTrans = this.generateKtr(dto)...
2018-09-26 21:38:04
1641
1
原创 **springboot框架包已导入但还是报ClassNotFoundException问题**
excel上传的时候poi包的版本用的最新的，启动的时候报ClassNotFoundException异常，后来换了低版本的好了
2018-09-19 17:50:26
2916
原创 maven项目pom.xml文件报错问题
在保证创建的maven项目可以使用的前提下，添加新的依赖报错问题解决思路： 1.包未下完，maven——update(勾选上force) 2.maven库里没有，无法下载，手动下载完，放到本地maven资源库中，再手动添加依赖 3.网不好（导致包下不完的一个原因）...
2018-09-11 22:06:16
291
原创 kettle6.1源码部署
最近在研究kettle，开始部署7.1版本的，发行版有资源库但是源码部署的没有连接资源库的地方，后来就部署的6.1版本，这个是有的，只是界面不太一样，网上有很多部署文档，一来是太麻烦，还要建文件夹什么的，二来我也没部署成功，就把我自己部署的过程记录下来，供大家参考。 1.下载kettle工具包和源码 下载地址： 发行版：https://sourceforge.net/projects/pen...
2018-09-11 21:23:45
808
原创 springboot+mybatis
maven项目springboot+mybatis框架搭建心得 https://blog.csdn.net/a78270528/article/details/77532781 https://blog.csdn.net/a78270528/article/details/77573818 这两个连接是关于如何创建maven项目和搭建springboot框架，此处直接粘贴给大家，个人觉得写的...
2018-08-28 17:31:32
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人