自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(91)
  • 资源 (2)
  • 收藏
  • 关注

原创 oracle,RMAN定时备份shell脚本。恢复步骤及恢复示例

配置rman备份参数:su - oraclerman target/RMAN> CONFIGURE CONTROLFILE AUTOBACKUP ON;RMAN> CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO '/u01/rmanbak/controlfile/%F';RMAN> CONFIGURE CHANNEL DEVICE TYPE DISK FORMAT '/u01/rmanbak/cont

2020-11-12 17:01:28 3382 7

原创 使用easyExcel,多线程,导出excel

用easyExcel,多线程,生产者-消费者模式写入excel阿里easyexcel 插件easyexcel 项目git地址为: https://github.com/alibaba/easyexcel官网地址:https://alibaba-easyexcel.github.io写excel类public class WriteExcel { public static voi...

2020-03-19 14:36:09 9460 2

原创 检测图片是否被PS过,代码案例demo

用图片的exif信息,即图片拍摄信息判断图片是否被PS过。原理:图片exif信息只有拍摄的图片才有的信息,比如拍摄角度,曝光度等。图片被专业软件修改,如Photoshop打码,exif信息中会有该软件信息截图是没有exif信息的,图片被修改,或经微信,qq转发,Exif信息都会丢失。图片被ps:exif信息丢失,或exif信息中software字段有修改软件的相关信息查看图片的Exif信...

2019-08-26 10:42:52 3631 1

原创 spark Graphx图计算java.lang.AbstractMethodError,connectedComponents

spark Graphx图计算java.lang.AbstractMethodErrorspark.graphx.GraphOps.connectedComponents项目场景:用spark Graphx进行图计算问题描述:图计算报异常如下Exception in thread "main" java.lang.AbstractMethodError at org.apache.spark.internal.Logging$class.initializeLogIfNecessary(Log

2021-05-19 09:48:27 84

原创 OpenCSV web下载csv文件demo

OpenCSV web下载csv文件demopom.xml<dependency> <groupId>com.opencsv</groupId> <artifactId>opencsv</artifactId> <version>4.1</version> </dependency> @RequestMapping(value = "/batchScan!exportReport.act

2021-04-29 17:27:35 437

原创 EasyExcel web下载excel,多sheet页demo

easyExcel web下载excel,多sheet页demopom.xml <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.1.6</version> </dependency><dependency> <grou

2021-04-29 10:56:20 750

转载 spark中job,stage,task之间的关系

spark中job,stage,task之间的关系1. 什么是jobJob简单讲就是提交给spark的任务。2. 什么是stageStage是每一个job处理过程要分为的几个阶段。3.什么是taskTask是每一个job处理过程要分几为几次任务。Task是任务运行的最小单位。最终是要以task为单位运行在executor中。4. Job和stage和task之间有什么关系Job <—> 一个或多个stage <—> 一个或多个task下图是一个job分成了三个sta

2021-04-26 15:35:45 560

原创 使用Quartz框架的定时任务去停止/恢复某个定时任务

StartJob类/** * @author by think * @类名 startJob * @描述 执行的任务 * @创建时间 2021/4/1 11:41 */@DisallowConcurrentExecutionpublic class StartJob implements Job { @Override public void execute(JobExecutionContext jobExecutionContext) { for (int

2021-04-01 14:58:50 1572 1

原创 单例模式自定义数据库连接池

单例模式自定义数据库连接池public class DBUtil { private static Logger logger = Logger.getLogger(DBUtil.class); /** * 数据库连接信息 */ public static final String JDBC_DRIVER; public static final String JDBC_URL; public static final String JDBC_N

2021-03-29 14:21:40 585

原创 HBase二级索引的设计原理及简单设计demo

五分钟学会HBase二级索引的设计一、原理“二级多列索引”是针对目标记录的某个或某些列建立的“键-值”数据,以列的值为键,以记录的RowKey为值,当以这些列为条件进行查询时,引擎可以通过检索相应的“键-值”数据快速找到目标记录。由于HBase本身并没有索引机制,为了确保非侵入性,引擎将索引视为普通数据存放在数据表中,所以,如何解决索引与主数据的划分存储是引擎第一个需要处理的问题,为了能获得最佳的性能表现,我们并没有将主数据和索引分表储存,而是将它们存放在了同一张表里,通过给索引和主数据的RowKey添

2021-03-19 22:37:25 623

转载 面对百亿数据,Hbase为什么查询速度依然非常快?

面对百亿数据,Hbase为什么查询速度依然非常快?HBase适合存储PB级别的海量数据(百亿千亿量级条记录),如果根据记录主键Rowkey来查询,能在几十到百毫秒内返回数据。那么Hbase是如何做到的呢?接下来,我介绍一下数据的查询思路和过程。查询过程:第1步:项目有100亿业务数据,存储在一个Hbase集群上(由多个服务器数据节点构成),每个数据节点上有若干个Region(区域),每个Region实际上就是Hbase中一批数据的集合(比如20万条数据)。我们现在开始根据主键RowKey来查询

2021-03-19 21:22:10 893

转载 HBase 数据读写流程

HBase 数据读写流程读数据HBase的表是按行拆分为一个个 region 块儿,这些块儿被放置在各个 regionserver 中假设现在想在用户表中获取 row key 为 row0001 的用户信息要想取得这条数据,就需要先找到含有此条记录的 regionHBase 是如何定位到具体 regionserver 中的具体 region 的呢?HBase 中有一个内置的 hbase:meta 表,其中记录了所有表的所有 region 的详细信息例如 region 的 开始KEY、结束KE

2021-03-17 20:58:18 84

转载 WordCount之Spark的三种提交方式

WordCount之Spark的三种提交方式一、编写程序WordCount1、导入相应jar包这些jar包都在saprk的安装包里。2、编写程序package com.cn.sparkimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("Word

2021-03-11 17:44:27 139

转载 自定义InputFormat案例实操

自定义InputFormat案例实操原文链接:https://www.cnblogs.com/Mark-blog/p/11644209.html引言:无论HDFS还是MapReduce,在处理小文件时效率都非常低,但又难免面临处理大量小文件的场景,此时,就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。(对外是一个整文件,对内仍是原先的小文件,节省MapTask)需求如下:将多个小文件合并成一个SequenceFile文件(SequenceFile文件是Hadoop用来存储二

2021-03-06 22:11:36 185

原创 spark从hbase读取数据demo,及异常 “dag-scheduler-event-loop“ java.lang.NoSuchMethodError解决

项目场景:spark是从hbase读取数据问题描述:Exception in thread “dag-scheduler-event-loop” java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.InputSplit.getLocationInfo()[Lorg/apache/hadoop/mapred/SplitLocationInfo;Exception in thread "dag-scheduler-event-loop" j

2021-02-04 16:47:04 320

原创 servlet集成hadoop相关组件,java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationRe异常

项目场景:serverlet集成hadoop+hbase问题描述:erverlet集成hadoop+hbase启动报java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationRe异常:java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationRe 原因分析:jar冲突解决方案:删除hadoop中下图jar

2021-01-28 14:15:08 56

转载 知乎大佬总结的hbase

我终于看懂了HBase,太不容易了

2021-01-25 14:47:27 101

原创 VMware虚拟机网络ping不通外网问题,xshell连不上问题

VMware虚拟机网络ping不通外网问题原因分析:电脑WLAN3的ip网段是10,我虚拟你IP网段是192.168.241.xx解决办法VMnet共享WLAN3.具体操作如下第一步:**第二步:编辑虚拟机的虚拟网络编辑器(点击虚拟机做上角编辑)...

2021-01-22 17:05:50 297

转载 Linux性能检测常用的10个基本命令

Linux性能检测常用的10个基本命令uptime$ uptime 23:51:26 up 21:31, 1 user, load average: 30.02, 26.43, 19.0212该命令可以大致的看出计算机的整体负载情况,load average后的数字分别表示计算机在1min、5min、15min内的平均负载。dmesg | tail$ dmesg | tail[1880957.563150] perl invoked oom-killer: gfp_mask=0x28

2021-01-12 09:58:21 152

原创 使用flink table api 从kafka中读取数据,kafka数据无法读取错误

kafka正常启动,flink无法消费,也不报错解决办法:配置属性为从所有分区的最新偏移量开始读取startFromLatest()package com.atguigu.apitest.tabletest/*import org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.{DataTypes,

2020-12-22 20:43:49 661

转载 idea改成eclipse编译报错java.lang.IllegalArgumentException.......

idea改成eclipse编译报错java.lang.IllegalArgumentException…原文路径:https://segmentfault.com/q/1010000020632995?utm_source=tag-newest有可能是由于IDEA内置的ECJ版本太高了。查一下tomcat支持的jdk版本。修改对应tomcat里的EJC路径...

2020-12-18 17:20:46 546 1

原创 功能强大的图片查看控件,jquery

html如下<!doctype html><html lang="zh"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"> </head><body> <div class="docs-galley" id="waterMaskImg2"

2020-12-09 14:20:34 336

转载 Shuffle和Combiner区别详解

概述1)mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle;2)shuffle: 洗牌、发牌(核心机制:数据分区、排序、缓存);3)具体来说:就是将maptask输出的处理结果数据,分发给reducetask,并在分发的过程中,对数据按key进行了分区和排序。2.4.2 Shuffle结构Shuffle缓存流程:shuffle是MR处理流程中的一个过程,它的每一个处理步骤是分散在各个map task和re

2020-11-19 11:11:19 625

原创 oracle,RMAN恢复数据库数据到指定时间,RMAN不完全恢复shell脚本

oracle,RMAN恢复数据库数据到指定时间,RMAN不完全恢复RMAN定时备份配置,shell脚本见https://blog.csdn.net/weixin_43614067/article/details/109647639su - oraclesqlplus / as sysdba#设置时间格式SQL> ALTER SESSION SET NLS_DATE_FORMAT='YYYY-MM-DD HH24:MI:SS';#查看数据库原型(当前原型为2)SQL> SELECT

2020-11-17 10:40:00 308

转载 Oracle数据库设置密码永不过期

Oracle数据库设置密码永不过期1、查看用户的proifle是哪个,一般是default:sql> select username,profile from dba_user;2、查看指定概要文件(如default)的密码有效期设置:sql> select * from dba_profiles where profile=‘DEFAULT’ and resource_name=‘PASSWORD_LIFE_TIME’;3、将密码有效期由默认的180天修改成“无限制”:sql&gt

2020-11-10 09:07:00 247

原创 linux自动删除归档日志shell脚本,oracle

linux自动删除归档日志shell脚本,oracle#clean_arch.sh#!/bin/bashexport ORACLE_SID=orclexport ORACLE_HOME=/home/oracle/tools/oracle11g/product/11.2.0/dbhome_1export ORACLE_BASE=/home/oracle/tools/oracle11gtime=`date "+%Y%m%d"` logdir=/u01/archcleanlog isDirect

2020-11-03 15:50:06 424

原创 oracle数据库开启,关闭shell脚本

oracle数据库开启,关闭shell脚本dbstart(){ su - oracle -c " sqlplus / as sysdba <<EOF startup; exit; EOF" echo "启动数据库成功!"}dbstop(){ su - oracle -c " sqlplus / as sysdba <<EOF shu

2020-11-03 10:50:44 448

原创 linux,定时冷备份oracle数据shell脚本--亲测有效

cold_backup.sh主要步骤:1.移除过期的数据,设置保存7天2.停止数据库3.复制数据4.启动数据库5.更改复制的目录用户名用户组#!/bin/shdataOriDir=/home/oracle/tools/oracle11g/oradata/orclrecoverOriDir=/home/oracle/tools/oracle11g/flash_recovery_area/orcldbsOriDir=/home/oracle/tools/oracle11g/product/11

2020-11-03 10:43:56 154

转载 这些linux技巧大大提高你的工作效率

这些linux技巧大大提高你的工作效率linux中的一些小技巧可以大大提高你的工作效率,本文就细数那些提高效率或者短小却有效的linux技巧。命令编辑及光标移动这里有很多快捷键可以帮我们修正自己的命令。接下来使用光标二字代替光标的位置。删除从开头到光标处的命令文本ctrl + u,例如:cd /proc/tty;ls -al光标如果此时使用ctrl + u快捷键,那么该条命令都会被清除,而不需要长按backspace键。删除从光标到结尾处的命令文本ctrl+k,例如:cd /proc/

2020-10-28 14:55:35 44

原创 oracle恢复表,表误删数据,oracle闪回

–查询表tableA被删除的数据,这里时间’xxxx-xx-xx xx:xx:xx’指该时间点前tableA的表数据select * from tableA as of timestampto_timestamp(‘xxxx-xx-xx xx:xx:xx’,‘yyyy-mm-dd hh24:mi:ss’)where tableA中字段 not in (select tableA中字段 from tableA)–恢复tableA中被删除的数据(将’xxxx-xx-xx xx:xx:xx’前不存在

2020-10-26 10:33:28 517

原创 linux,CentOS7安装Oracle11g—静默安装

一、安装前准备工作:1、下载Oracle安装包:linux.x64_11gR2_database_1of2.zip 和linux.x64_11gR2_database_2of2.zip;2、HostName修改:oraclehostnamectl set-hostname oracle3.关闭selinux:vi /etc/selinux/config,设置如下,重启系统reboot;二、主要步骤:1.创建oracle用户,及用户组2.配置oracle用户环境变量3.修改安装Oracl

2020-10-22 15:35:13 470

原创 自动杀掉端口对应进程shell脚本,一个或多个进程id

#!/bin/bashPID=$(ps -ef|grep 8080|grep -v grep|awk '{print $2}')if [ $? -eq 0 ]; then echo "process id:$PID"else echo "process $PID not exit" exitfikill -9 $PIDif [ $? -eq 0 ];then echo "kill $PID success"else echo "kill $PID fa

2020-10-09 14:27:40 179

原创 Oracle 数据库新用户的创建----简洁版

Oracle 11g数据库创建表空间、用户、目录、用户授权、修改最大连接数以及开启归档日志--切换用户su - oracle--登陆 sqlplus / as sysdba============================================================================================================================--创建新用户create user ecm_uat identified b

2020-09-28 14:37:28 122

原创 sparkSql连接hive,找不到Hive数据库或Hive表

项目场景:spark整合Hive,idea本地用spark读取Hive中的数据问题描述:在hive客户端查看数据库spark是存在的但是用spark连接Hive查不到数据库sparkhive> show databases;OKdefaultsparkTime taken: 0.11 seconds, Fetched: 3 row(s) 原因分析:spark没找到Hive的元数据解决方案:加上元素据配置,hive.metastore.urisscala中整合Hive

2020-09-27 18:30:05 4247

原创 spark 提交jar包到集群运行报异常java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster

问题描述:spark 提交jar包到集群运行报异常java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster 原因分析:spark找不到hadoop集群的相关信息解决方案:spark-env.sh 配置文件中加入hadoop配置文件路径export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop ...

2020-09-27 17:43:59 597

原创 List,JavaRDD和JavaPairRDD的相互转换和打印输出demo

List,JavaRDD和JavaPairRDD的相互转换和打印输出public class ReadTextToRDD { public static void main(String[] args) { SparkConf sparkConf = new SparkConf().setAppName("RDD的打印") .setMaster("local[2]").set("spark.executor.memory", "2g");

2020-09-26 10:33:49 1454

转载 RDD和DataFrame和DataSet三者间的区别

RDD和DataFrame和DataSet三者间的区别乌镇风云 2018-11-23 16:25:24 6902 收藏 26版权RDD vs DataFrames vs DataSet在SparkSQL中Spark为我们提供了两个新的抽象,分别是DataFrame和DataSet。他们和RDD有什么区别呢?首先从版本的产生上来看:RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)如果同样的数据都给到这三个数据结构,他

2020-09-24 16:31:45 260

原创 hive静态分区表,动态分区表详解,案例demo

hive静态分区表,动态分区表详解,案例demo数据文本,student.txt1 zhansgan 12 man2 lisi 13 man3 xiaohong 16 woman静态分区:将数据指定分配到某个分区下。创建静态分区表案列#创建表create table student(id string,name string,age string,sex string)PARTITIONED BY(student_age string)ROW FORMAT DELIMITED

2020-09-17 11:02:06 958

原创 hive和hbase整合案例,demo

hive和hbse环境已搭建hive和hbase整合增加配置1、在hive的服务端hive-site.xml配置文件中增加属性: <property> <name>hbase.zookeeper.quorum</name> <value>node001,node002,node003</value> </property>增加后如下<configuration><property&g

2020-09-16 17:09:01 114

转载 Hbase的Filter详解使用

参数基础有两个参数类在各类Filter中经常出现,统一介绍下:(1)比较运算符 CompareFilter.CompareOp比较运算符用于定义比较关系,可以有以下几类值供选择:EQUAL                                  相等GREATER       .

2020-09-15 15:08:44 509

导出excel和csv格式模板.zip

用EasyExcel导出excel和用opencsv导出csv格式模板(含前端),只需改写入数据即可。 导出excel博客:https://blog.csdn.net/weixin_43614067/article/details/116262853 导出csv博客:https://blog.csdn.net/weixin_43614067/article/details/116273446

2021-05-11

settings.zip

IDEA设置下载,包含,快捷键设置同eclipse,主题,字体大小等。 IDEA直接File->import Settings选中要导入的设置

2019-08-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除