- 博客(37)
- 资源 (1)
- 收藏
- 关注
转载 hive框架处理数据结果保存
转载https://blog.csdn.net/h1025372645/article/details/94900284
2021-05-09 10:01:06
168
原创 hive创建分区表,并且加载hdfs的数据到表中
创建表drop table if exists ods_order_info;create external table ods_order_info ( `id` string COMMENT '订单号', `consignee` string COMMENT '收货人', `consignee_tel` string COMMENT '收件人电话',`final_total_amount` decimal(16,2) COMMENT '订单金额',`order_status`
2021-05-02 16:46:41
2941
1
原创 sqoop安装,并且从mysql读取数据到hdfs
sqoop安装和配置官网下载地址: https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7/下载完成之后,解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz进入conf目录,把 sqoop-env-template.sh 重命名为 sqoop-env.shmv sqoop-env-template.sh sqoop-env.sh然后配置 sqoop-env.sh#hadoop安装目录export HADO
2021-04-18 21:41:32
202
原创 采用Flume-kafka-Flume将数据导入到HDFS中
首先先去官网下载flumehttp://flume.apache.org/download.html安装Flume,然后进行配置下载完成后,解压tar -zxvf apache-flume-1.9.0-bin解压完成之后,进入conf目录下面,把flume-env.sh.template文件更改为flume-env.sh,然后进入flume-env.sh配置jdk的路径。 export JAVA_HOME=/data/java/jdk1.8.0_11然后进入bin目录,执行命令,验证flu
2021-04-18 10:04:31
3098
原创 Spark3.0高可用集群部署
因为我本地之前有安装过zookeeper和hadoop,所以这里就不讲这两个的安装了,如需安装,自行百度。官网下载地址 http://spark.apache.org/downloads.html这个官网很奇怪,有时候那个下拉选择版本的框,显示不出来。所以我翻墙下载了,翻墙了之后,可以正常显示了。Spark我使用的是这个版本的 spark-3.0.1-bin-hadoop3.2.tgz安装完之后,上传到服务器,解压tar -zxvf spark-3.0.1-bin-hadoop3.2解压完成之
2021-02-12 17:39:03
396
原创 关于Openoffice预览插件导致宕机问题,进程被杀,有时候会kill掉所有进程,LibreOffice也有这个问题
之前在开发过程中,因为项目要文件转换成pdf弄预览,再加上文件多,要提高转换效率,写了一段并发的程序。但是莫名其妙的,有时候服务器所有进程被kill掉,导致服务器直接宕机了。经过一段时间的排查,才发现是驱动OpenOffice的jar包有问题。<dependency> <groupId>org.artofsolving.jodconverter</groupId> <artifactId>jodconverter-core</artif
2021-01-24 09:38:48
1761
4
原创 Linux上安装Hive3.1.2,集成Hadoop3.1.2
1. 安装包下载 官网地址: 下载和Hadoop匹配的hive稳定版本 官网:http://hive.apache.org/downloads.html (看和你安装的Hadoop版本相对应) 然后把安装包上传到服务器 ,并且解压,Hive是基于Hadoop的,请先提交安装好Hadoop并且启动hdfs。tar -zxvf apache-hive-3.1.2-bin.tar.gz解压完成后,更改一下名称mv apache-hive-3.1.2-bin hive-3.1.2然后配置
2020-12-27 15:13:13
778
原创 mapredure操作hbase,进行数据保存操作
数据结构{"city":"sanya","address":"yaloggwang"}{"city":"lingshui","address":"lingzhi"}{"city":"wenchang","address":"qinglan"}{"city":"dongfang","address":"fangbiaoxiaoxue"}代码package test.hbase.test;import com.google.gson.Gson;import org.apache.hadoop
2020-12-13 22:35:17
165
原创 java.io.IOException: Initialization of all the collectors failed. Error in last collector was:java.
打包运行到mapre报错java.io.IOException: Initialization of all the collectors failed. Error in last collector was:java.lang.NullPointerException at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:423) at org.apache.hadoop.mapred.MapTask.acc
2020-12-13 21:25:43
2253
原创 java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operati
在部署HBase的时候,执行 start-hbase.sh命令,主节点一直起不来,后来到logs文件夹下面,看输出日志,结果报了错java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Ple
2020-11-29 16:21:44
1270
4
原创 layui组件,dtree树型结构不对齐
刚刚开始用dtree生成,下拉树的时候,我发现生成的下拉树结构不对齐。没有加之前是这样的:解决方法,在外面裹一层div,然后设置 align=“left”>,就可以了效果图:
2020-10-19 09:14:40
429
转载 Nginx离线安装
参考链接:https://www.jianshu.com/p/0d2dff0cfdacNginx基础操作命令:rpm -ivh *.rpm --nodeps --force // 执行目录下面所有npm包安装./configure --prefix=/home/work/nginx // 指定nginx安装目录。后缀是安装地址./nginx -s reload //重启./nginx //启动./nginx -s stop //关闭...
2020-09-29 15:14:56
160
原创 服务器上面找不到jar命令,-bash: jar: 未找到命令
进入 /usr/bin 目录cd /usr/bin然后创建jar命令的软连接sudo ln -s -f /home/jdk1.8/jdk1.8.0_211/bin/jar jar/home/jdk1.8/jdk1.8.0_211/bin/jar,是jdk的安装目录,后面的jar是别名。验证是否成功,输入jar回车
2020-09-28 16:30:21
6819
原创 Junit搭配Allure,集成到jenkins,生成可视化测试报告
这里写自定义目录标题实现效果图pom文件配置测试类编写配置测试信息生成路径执行 mvn test 命令Jenkins上面安装allure插件配置构建信息选择allule构建信息填写生成allule-result文件的路径,这里一般是相对路径效果实现效果图pom文件配置 <dependency> <groupId>junit</groupId> <artifactId>junit</artifac
2020-09-21 22:07:03
1516
1
原创 使用poi复制sheet页,拷贝sheet,sheet插入行,复制行
复制sheet //读取excel模板 XSSFWorkbook workbook = new XSSFWorkbook(new FileInputStream(filePath + "赎回明细表模板.xlsx")); workbook.cloneSheet(0,"赎回明细-"+sheetName);通过 cloneSheet,去克隆整个sheet,cloneSheet第一个参数是你要克隆sheet的下标,第二个参数是,新的sheet的名
2020-08-02 11:07:53
13854
1
原创 多线程系列(一) 进程与线程
进程进程是指在系统中正在运行的一个应用程序,大部分程序可以同时运行多个实例进程(例如记事本、画图、浏览器等),也有的程序只能启动一个实例进程(例如网易云音乐、360安全卫士等)。线程线程是系统分配处理器时间资源的基本单元,或者说进程之内独立执行的一个单元。对于操作系统而言,其调度单元是线程。一个进程之内可以分为一到多个线程。Java 中,线程作为最小调度单位,进程作为资源分配的最小单位。在 windows 中进程是不活动的,只是作为线程的容器。...
2020-07-19 15:03:51
176
1
原创 logback,实现日志分离,实现对某个模块的日志分离。配置
<?xml version="1.0" encoding="UTF-8"?><configuration> <include resource="org/springframework/boot/logging/logback/base.xml" /> <property name="log.path" value="./logs/" /> <property name="server.name" value="data-se
2020-06-06 10:43:54
1039
原创 基于@EnableScheduling注解,配合数据库,实现定时任务时间,动态修改。
数据库脚本文件,数据库使用的是sqlservice,别的数据库的,脚本可以自行修改。/* Navicat Premium Data Transfer Source Server : 192.168.2.79-xjj Source Server Type : SQL Server Source Server Version : 10501600 Source Host : 192.168.2.79:1433 Source Catalog
2020-06-06 10:37:28
1014
原创 java生成表格图片,使用Graphics
实现代码package com.xjj.modules.test;import com.xjj.modules.redem.form.RedeemConfirmationModel;import com.xjj.modules.redem.util.PictureUtil;/** * @Author: wumingkai * @Description: * @Date:Create:in 2020/3/22 10:32 * @Modified By: */public class Te
2020-06-06 10:24:15
1766
3
原创 Linux查询cpu情况
先进服务器,用top -c 命令找出当前进程的运行列表(cpu占用率从大到小)显示Java进程 PID 为 2609 的java进程消耗最高然后我们需要根据PID 查出CPU里面消耗最高的进程使用命令 top -Hp 2609 找出这个进程下面的线程,继续按P排序...
2020-06-03 16:33:21
131
原创 @ControllerAdvice 无效,SpringBoot全局异常失效
在开发的时候,我发现我配置的全局异常无效,找了半天,原来是 Swagger自带的注解影响到了。RequestMapping注解,一定要放在Swagger相关注解的前面,切记,具体原因不明(我觉得是一个扫描顺序的原因,具体后面再研究)。...
2020-03-24 15:05:37
2537
1
原创 linux上,后台启动jar到指定输出文件,和集成jenkins需要注意的地方
有两种写法nohup java -jar dataServicePlatform-starter-1.0.0-SNAPSHOT.jar >/temp.out 2>&1&这种写法是,你每次启动项目,都会重新加载temp.out文件。还有一种写法是,在原先的temp.out上面追加日志,这样写nohup java -jar dataServicePlatform-s...
2020-03-04 10:47:11
355
原创 二十三种设计模式之单例模式(八种写法)
在讲单例模式之前。先简单介绍一下二十三种设计模式的类型本人的设计模式的课程学习地址这里,代码笔记都提供的。设计模式类型设计模式分为三种类型,共23种:创建型模式:单例模式、抽象工厂模式、原型模式、建造者模式、工厂模式。结构型模式:适配器模式、桥接模式、装饰模式、组合模式、外观模式、享元模式、代理模式。行为型模式:模版方法模式、命令模式、访问者模式、迭代器模式、观察者模式、中介者模式、...
2019-10-10 22:37:13
169
原创 二十三种设计模式中的六大原则(六)迪米特法则
基本介绍一个对象应该对其他对象保持最少的了解 。类与类关系越密切,耦合度越大。迪米特法则(DemeterPrinciple)又叫最少知道原则,即一个类对自己依赖的类知道的越少越好。也就是说,对于被依赖的类不管多么复杂,都尽量将逻辑封装在类的内部。对外除了提供的public方法,不对外泄露任何信息。迪米特法则还有个更简单的定义:只与直接的朋友通信。直接的朋友: 每个对象都会与其他对象...
2019-10-08 21:23:20
120
原创 二十三种设计模式中的六大原则(五)开闭原则
基本介绍开闭原则(OpenClosedPrinciple)是编程中最基础、最重要的设计原则一个软件实体如类,模块和函数应该对扩展开放(对提供方),对修改关闭(对使用方)。用抽象构建框架,用实现扩展细节。当软件需要变化时,尽量通过扩展软件实体的行为来实现变化,而不是通过修改已有的代码来实现变化。编程中遵循其它原则,以及使用设计模式的目的就是遵循开闭原则。下面先看下一段,不遵守开闭原则的...
2019-10-08 20:58:02
296
原创 二十三种设计模式中的六大原则(四)里式替换原则
OO中的继承性的思考和说明:继承包含这样一层含义:父类中凡是已经实现好的方法,实际上是在设定规范和契约,虽然它不强制要求所有的子类必须遵循这些契约,但是如果子类对这些已经实现的方法任意修改,就会对整个继承体系造成破坏。继承在给程序设计带来便利的同时,也带来了弊端。比如使用继承会给程序带来侵入性,程序的可移植性降低,增加对象间的耦合性,如果一个类被其他的类所继承,则当这个类需要修改时,必须考虑...
2019-10-07 17:51:15
151
原创 二十三种设计模式中的六大原则(三)依赖倒转原则
基本介绍依赖倒转原则(DependenceInversionPrinciple)是指:高层模块不应该依赖低层模块,二者都应该依赖其抽象 。抽象不应该依赖细节,细节应该依赖抽象。依赖倒转(倒置)的中心思想是面向接口编程。依赖倒转原则是基于这样的设计理念:相对于细节的多变性,抽象的东西要稳定的多。以抽象为基础搭建的架构比以细节为基础的架构要稳定的多。在java中,抽象指的是接口或抽象类,细...
2019-10-07 16:10:23
274
原创 二十三种设计模式中的六大原则(二)接口隔离原则
接口隔离原则即客户端不应该依赖它不需要的接口,即一个类对另一个类的依赖 应该建立在最小的接口上。先看一张图:类A通过接口Interface1依赖类B,类C通过 接口Interface1依赖类D,如果接口Interface1对于类A和类C来说不是最小接口,那么类B和类D必须去实现他们不需要的方法。按隔离原则应当这样处理:将接口Interface1拆分为独立的几个接口,类A和类C分别与他们需要...
2019-10-07 10:30:34
287
1
原创 二十三种设计模式中的六大原则(一) 单一职责原则
引言:本人这个设计模式课程的学习,也是看的别的讲师的课程来学习的,这个老师讲的设计模式的课程很不错。建议大家去听听。这里我只贴视频链接,不说是哪个老师和哪个培训机构,避免有打广告的嫌疑。视频链接:https://www.bilibili.com/video/av57936239?from=search&seid=10749694492060434221软件工程中,设计模式(design...
2019-10-07 09:24:23
261
原创 Spring Cloud 简单入门使用(三) Eureka集群配置
在第一章的时候,我们将到了Eureka。但是我们只是建立了单实例,所以。这次我们再建立两个Eureka实例出来,实现简单的集群配置。理论上来讲,因为服务消费者本地缓存了服务提供者的地址,即使Eureka Server宕机,也不会影响服务之间的调用,但是一旦新服务上线,已经在缓存在本地的服务提供者不可用了,服务消费者也无法知道,所以保证Eureka Server的高可用还是很有必要的。我们在前面...
2019-10-02 16:16:05
151
原创 Spring Cloud 简单入门使用(二)消费者Consumer和负载均衡Ribbon
上一章已经讲到了服务提供者和Eureka。下面我们就搭建服务消费者,结合Ribbon负载均衡,来实现调用。一、创建用户表在原先的8001工程下面,创建用户表sql语句CREATE TABLE `sys_user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) NOT NULL, `password` va...
2019-10-02 15:32:46
166
原创 Spring Cloud 简单入门使用(一) 服务的注册与发现Eureka
一 、Spring Cloud 简介 Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智能路由,微代理,控制总线)。分布式系统的协调导致了样板模式, 使用Spring Cloud开发人员可以快速地支持实现这些模式的服务和应用程序。他们将在任何分布式环境中运行良好,包括开发人员自己的笔记本电脑,裸机数据中心,以及Cloud Found...
2019-10-02 09:56:55
179
原创 基于百度开源插件 WebUploader +SpringBoot,文件上传,断点续传
最近项目中需要做断点续传的功能,我参考了网上了几篇博客,然后进行了一些改动 是。文件分片上传了之后,如果中间出现上传中断,下次再次上传这个文件时,则会从之前已经上传到的下标开始上传。什么是文件分片??。就是把一个大文件,均匀的切割若干个小部分。然后进行上传。每一个分片上传就会发一个请求。这样就可以脱离了之前的传统的文件上传,上限2G的局限,有了WebUploader配合,理论上是不限制文件大小。...
2019-07-16 22:04:53
2489
27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人