- 博客(93)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 oracle，RMAN定时备份shell脚本。恢复步骤及恢复示例
配置rman备份参数：su - oraclerman target/RMAN> CONFIGURE CONTROLFILE AUTOBACKUP ON;RMAN> CONFIGURE CONTROLFILE AUTOBACKUP FORMAT FOR DEVICE TYPE DISK TO '/u01/rmanbak/controlfile/%F';RMAN> CONFIGURE CHANNEL DEVICE TYPE DISK FORMAT '/u01/rmanbak/cont
2020-11-12 17:01:28
4399
7
原创 使用easyExcel，多线程，导出excel
用easyExcel，多线程，生产者-消费者模式写入excel阿里easyexcel 插件easyexcel 项目git地址为: https://github.com/alibaba/easyexcel官网地址：https://alibaba-easyexcel.github.io写excel类public class WriteExcel { public static voi...
2020-03-19 14:36:09
14100
4
原创 检测图片是否被PS过,代码案例demo
用图片的exif信息，即图片拍摄信息判断图片是否被PS过。原理：图片exif信息只有拍摄的图片才有的信息，比如拍摄角度，曝光度等。图片被专业软件修改，如Photoshop打码，exif信息中会有该软件信息截图是没有exif信息的，图片被修改，或经微信，qq转发，Exif信息都会丢失。图片被ps：exif信息丢失，或exif信息中software字段有修改软件的相关信息查看图片的Exif信...
2019-08-26 10:42:52
5459
1
转载 pip永久镜像源的配置方法
在终端或命令提示符中输入以下命令：（此时就自动带一个镜像源，pip install +库名即可）A、首先，需要确定一个可靠能用的镜像源。一些常用的Python镜像源包括阿里云、清华大学和豆瓣等。首先，需要确定一个可靠能用的镜像源。一些常用的Python镜像源包括阿里云、清华大学和豆瓣等。pip install -i +国内镜像地址 +模块名称 或 pip install +模块名称 -i +国内镜像地址。Python入门教程：pip永久镜像源的配置方法。pip永久镜像源的配置方法。
2024-06-22 23:03:53
36
转载 神经网络如何计算权重
share_token=583cfc21-4fd6-4595-a437-7dd3b14cef58&tt_from=copy_link&utm_source=copy_link&utm_medium=toutiao_android&utm_campaign=client_share - bp神经网络权重更改公式 bp神经网络 权重-51CTO博客…
2023-08-12 20:20:56
161
原创 spark Graphx图计算java.lang.AbstractMethodError，connectedComponents
spark Graphx图计算java.lang.AbstractMethodErrorspark.graphx.GraphOps.connectedComponents项目场景：用spark Graphx进行图计算问题描述：图计算报异常如下Exception in thread "main" java.lang.AbstractMethodError at org.apache.spark.internal.Logging$class.initializeLogIfNecessary(Log
2021-05-19 09:48:27
285
原创 OpenCSV web下载csv文件demo
OpenCSV web下载csv文件demopom.xml<dependency> <groupId>com.opencsv</groupId> <artifactId>opencsv</artifactId> <version>4.1</version> </dependency> @RequestMapping(value = "/batchScan!exportReport.act
2021-04-29 17:27:35
704
原创 EasyExcel web下载excel,多sheet页demo
easyExcel web下载excel,多sheet页demopom.xml <dependency> <groupId>com.alibaba</groupId> <artifactId>easyexcel</artifactId> <version>2.1.6</version> </dependency><dependency> <grou
2021-04-29 10:56:20
1130
转载 spark中job，stage，task之间的关系
spark中job，stage，task之间的关系1. 什么是jobJob简单讲就是提交给spark的任务。2. 什么是stageStage是每一个job处理过程要分为的几个阶段。3.什么是taskTask是每一个job处理过程要分几为几次任务。Task是任务运行的最小单位。最终是要以task为单位运行在executor中。4. Job和stage和task之间有什么关系Job <—> 一个或多个stage <—> 一个或多个task下图是一个job分成了三个sta
2021-04-26 15:35:45
944
原创 使用Quartz框架的定时任务去停止/恢复某个定时任务
StartJob类/** * @author by think * @类名 startJob * @描述 执行的任务 * @创建时间 2021/4/1 11:41 */@DisallowConcurrentExecutionpublic class StartJob implements Job { @Override public void execute(JobExecutionContext jobExecutionContext) { for (int
2021-04-01 14:58:50
2471
1
原创 单例模式自定义数据库连接池
单例模式自定义数据库连接池public class DBUtil { private static Logger logger = Logger.getLogger(DBUtil.class); /** * 数据库连接信息 */ public static final String JDBC_DRIVER; public static final String JDBC_URL; public static final String JDBC_N
2021-03-29 14:21:40
783
原创 HBase二级索引的设计原理及简单设计demo
五分钟学会HBase二级索引的设计一、原理“二级多列索引”是针对目标记录的某个或某些列建立的“键-值”数据，以列的值为键，以记录的RowKey为值，当以这些列为条件进行查询时，引擎可以通过检索相应的“键-值”数据快速找到目标记录。由于HBase本身并没有索引机制，为了确保非侵入性，引擎将索引视为普通数据存放在数据表中，所以，如何解决索引与主数据的划分存储是引擎第一个需要处理的问题，为了能获得最佳的性能表现，我们并没有将主数据和索引分表储存，而是将它们存放在了同一张表里，通过给索引和主数据的RowKey添
2021-03-19 22:37:25
1243
转载 面对百亿数据，Hbase为什么查询速度依然非常快？
面对百亿数据，Hbase为什么查询速度依然非常快？HBase适合存储PB级别的海量数据（百亿千亿量级条记录），如果根据记录主键Rowkey来查询，能在几十到百毫秒内返回数据。那么Hbase是如何做到的呢？接下来，我介绍一下数据的查询思路和过程。查询过程：第1步：项目有100亿业务数据，存储在一个Hbase集群上（由多个服务器数据节点构成），每个数据节点上有若干个Region（区域），每个Region实际上就是Hbase中一批数据的集合（比如20万条数据）。我们现在开始根据主键RowKey来查询
2021-03-19 21:22:10
1379
转载 HBase 数据读写流程
HBase 数据读写流程读数据HBase的表是按行拆分为一个个 region 块儿，这些块儿被放置在各个 regionserver 中假设现在想在用户表中获取 row key 为 row0001 的用户信息要想取得这条数据，就需要先找到含有此条记录的 regionHBase 是如何定位到具体 regionserver 中的具体 region 的呢？HBase 中有一个内置的 hbase:meta 表，其中记录了所有表的所有 region 的详细信息例如 region 的 开始KEY、结束KE
2021-03-17 20:58:18
153
转载 WordCount之Spark的三种提交方式
WordCount之Spark的三种提交方式一、编写程序WordCount1、导入相应jar包这些jar包都在saprk的安装包里。2、编写程序package com.cn.sparkimport org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("Word
2021-03-11 17:44:27
227
转载 自定义InputFormat案例实操
自定义InputFormat案例实操原文链接：https://www.cnblogs.com/Mark-blog/p/11644209.html引言：无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。（对外是一个整文件，对内仍是原先的小文件，节省MapTask）需求如下：将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二
2021-03-06 22:11:36
261
原创 spark从hbase读取数据demo，及异常 “dag-scheduler-event-loop“ java.lang.NoSuchMethodError解决
项目场景：spark是从hbase读取数据问题描述：Exception in thread “dag-scheduler-event-loop” java.lang.NoSuchMethodError: org.apache.hadoop.mapreduce.InputSplit.getLocationInfo()[Lorg/apache/hadoop/mapred/SplitLocationInfo;Exception in thread "dag-scheduler-event-loop" j
2021-02-04 16:47:04
622
原创 servlet集成hadoop相关组件，java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationRe异常
项目场景：serverlet集成hadoop+hbase问题描述：erverlet集成hadoop+hbase启动报java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationRe异常：java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationRe 原因分析：jar冲突解决方案：删除hadoop中下图jar
2021-01-28 14:15:08
118
原创 VMware虚拟机网络ping不通外网问题，xshell连不上问题
VMware虚拟机网络ping不通外网问题原因分析：电脑WLAN3的ip网段是10，我虚拟你IP网段是192.168.241.xx解决办法VMnet共享WLAN3.具体操作如下第一步：**第二步：编辑虚拟机的虚拟网络编辑器（点击虚拟机做上角编辑）...
2021-01-22 17:05:50
416
转载 Linux性能检测常用的10个基本命令
Linux性能检测常用的10个基本命令uptime$ uptime 23:51:26 up 21:31, 1 user, load average: 30.02, 26.43, 19.0212该命令可以大致的看出计算机的整体负载情况，load average后的数字分别表示计算机在1min、5min、15min内的平均负载。dmesg | tail$ dmesg | tail[1880957.563150] perl invoked oom-killer: gfp_mask=0x28
2021-01-12 09:58:21
218
原创 使用flink table api 从kafka中读取数据,kafka数据无法读取错误
kafka正常启动，flink无法消费，也不报错解决办法：配置属性为从所有分区的最新偏移量开始读取startFromLatest()package com.atguigu.apitest.tabletest/*import org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.streaming.api.scala._import org.apache.flink.table.api.{DataTypes,
2020-12-22 20:43:49
1002
转载 idea改成eclipse编译报错java.lang.IllegalArgumentException.......
idea改成eclipse编译报错java.lang.IllegalArgumentException…原文路径：https://segmentfault.com/q/1010000020632995?utm_source=tag-newest有可能是由于IDEA内置的ECJ版本太高了。查一下tomcat支持的jdk版本。修改对应tomcat里的EJC路径...
2020-12-18 17:20:46
710
1
原创 功能强大的图片查看控件，jquery
html如下<!doctype html><html lang="zh"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"> </head><body> <div class="docs-galley" id="waterMaskImg2"
2020-12-09 14:20:34
538
转载 Shuffle和Combiner区别详解
概述1）mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle；2）shuffle: 洗牌、发牌（核心机制：数据分区、排序、缓存）；3）具体来说：就是将maptask输出的处理结果数据，分发给reducetask，并在分发的过程中，对数据按key进行了分区和排序。2.4.2 Shuffle结构Shuffle缓存流程：shuffle是MR处理流程中的一个过程，它的每一个处理步骤是分散在各个map task和re
2020-11-19 11:11:19
838
原创 oracle，RMAN恢复数据库数据到指定时间，RMAN不完全恢复shell脚本
oracle，RMAN恢复数据库数据到指定时间，RMAN不完全恢复RMAN定时备份配置，shell脚本见https://blog.csdn.net/weixin_43614067/article/details/109647639su - oraclesqlplus / as sysdba#设置时间格式SQL> ALTER SESSION SET NLS_DATE_FORMAT='YYYY-MM-DD HH24:MI:SS';#查看数据库原型（当前原型为2）SQL> SELECT
2020-11-17 10:40:00
556
转载 Oracle数据库设置密码永不过期
Oracle数据库设置密码永不过期1、查看用户的proifle是哪个，一般是default：sql> select username,profile from dba_user;2、查看指定概要文件（如default）的密码有效期设置：sql> select * from dba_profiles where profile=‘DEFAULT’ and resource_name=‘PASSWORD_LIFE_TIME’;3、将密码有效期由默认的180天修改成“无限制”：sql>
2020-11-10 09:07:00
458
原创 linux自动删除归档日志shell脚本,oracle
linux自动删除归档日志shell脚本,oracle#clean_arch.sh#!/bin/bashexport ORACLE_SID=orclexport ORACLE_HOME=/home/oracle/tools/oracle11g/product/11.2.0/dbhome_1export ORACLE_BASE=/home/oracle/tools/oracle11gtime=`date "+%Y%m%d"` logdir=/u01/archcleanlog isDirect
2020-11-03 15:50:06
608
原创 oracle数据库开启，关闭shell脚本
oracle数据库开启，关闭shell脚本dbstart(){ su - oracle -c " sqlplus / as sysdba <<EOF startup; exit; EOF" echo "启动数据库成功!"}dbstop(){ su - oracle -c " sqlplus / as sysdba <<EOF shu
2020-11-03 10:50:44
744
原创 linux,定时冷备份oracle数据shell脚本--亲测有效
cold_backup.sh主要步骤：1.移除过期的数据，设置保存7天2.停止数据库3.复制数据4.启动数据库5.更改复制的目录用户名用户组#!/bin/shdataOriDir=/home/oracle/tools/oracle11g/oradata/orclrecoverOriDir=/home/oracle/tools/oracle11g/flash_recovery_area/orcldbsOriDir=/home/oracle/tools/oracle11g/product/11
2020-11-03 10:43:56
225
转载 这些linux技巧大大提高你的工作效率
这些linux技巧大大提高你的工作效率linux中的一些小技巧可以大大提高你的工作效率，本文就细数那些提高效率或者短小却有效的linux技巧。命令编辑及光标移动这里有很多快捷键可以帮我们修正自己的命令。接下来使用光标二字代替光标的位置。删除从开头到光标处的命令文本ctrl + u，例如：cd /proc/tty;ls -al光标如果此时使用ctrl + u快捷键，那么该条命令都会被清除，而不需要长按backspace键。删除从光标到结尾处的命令文本ctrl+k，例如：cd /proc/
2020-10-28 14:55:35
80
原创 oracle恢复表，表误删数据，oracle闪回
–查询表tableA被删除的数据，这里时间’xxxx-xx-xx xx:xx:xx’指该时间点前tableA的表数据select * from tableA as of timestampto_timestamp(‘xxxx-xx-xx xx:xx:xx’,‘yyyy-mm-dd hh24:mi:ss’)where tableA中字段 not in (select tableA中字段 from tableA)–恢复tableA中被删除的数据（将’xxxx-xx-xx xx:xx:xx’前不存在
2020-10-26 10:33:28
935
原创 linux,CentOS7安装Oracle11g—静默安装
一、安装前准备工作：1、下载Oracle安装包：linux.x64_11gR2_database_1of2.zip 和linux.x64_11gR2_database_2of2.zip；2、HostName修改：oraclehostnamectl set-hostname oracle3.关闭selinux：vi /etc/selinux/config，设置如下，重启系统reboot；二、主要步骤：1.创建oracle用户，及用户组2.配置oracle用户环境变量3.修改安装Oracl
2020-10-22 15:35:13
683
原创 自动杀掉端口对应进程shell脚本，一个或多个进程id
#!/bin/bashPID=$(ps -ef|grep 8080|grep -v grep|awk '{print $2}')if [ $? -eq 0 ]; then echo "process id:$PID"else echo "process $PID not exit" exitfikill -9 $PIDif [ $? -eq 0 ];then echo "kill $PID success"else echo "kill $PID fa
2020-10-09 14:27:40
265
原创 Oracle 数据库新用户的创建----简洁版
Oracle 11g数据库创建表空间、用户、目录、用户授权、修改最大连接数以及开启归档日志--切换用户su - oracle--登陆 sqlplus / as sysdba============================================================================================================================--创建新用户create user ecm_uat identified b
2020-09-28 14:37:28
199
原创 sparkSql连接hive，找不到Hive数据库或Hive表
项目场景：spark整合Hive，idea本地用spark读取Hive中的数据问题描述：在hive客户端查看数据库spark是存在的但是用spark连接Hive查不到数据库sparkhive> show databases;OKdefaultsparkTime taken: 0.11 seconds, Fetched: 3 row(s) 原因分析：spark没找到Hive的元数据解决方案：加上元素据配置，hive.metastore.urisscala中整合Hive
2020-09-27 18:30:05
6880
原创 spark 提交jar包到集群运行报异常java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster
问题描述：spark 提交jar包到集群运行报异常java.lang.IllegalArgumentException: java.net.UnknownHostException: mycluster 原因分析：spark找不到hadoop集群的相关信息解决方案：spark-env.sh 配置文件中加入hadoop配置文件路径export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop ...
2020-09-27 17:43:59
1049
原创 List，JavaRDD和JavaPairRDD的相互转换和打印输出demo
List，JavaRDD和JavaPairRDD的相互转换和打印输出public class ReadTextToRDD { public static void main(String[] args) { SparkConf sparkConf = new SparkConf().setAppName("RDD的打印") .setMaster("local[2]").set("spark.executor.memory", "2g");
2020-09-26 10:33:49
2189
转载 RDD和DataFrame和DataSet三者间的区别
RDD和DataFrame和DataSet三者间的区别乌镇风云 2018-11-23 16:25:24 6902 收藏 26版权RDD vs DataFrames vs DataSet在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看：RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)如果同样的数据都给到这三个数据结构，他
2020-09-24 16:31:45
411
原创 hive静态分区表，动态分区表详解，案例demo
hive静态分区表，动态分区表详解，案例demo数据文本，student.txt1 zhansgan 12 man2 lisi 13 man3 xiaohong 16 woman静态分区：将数据指定分配到某个分区下。创建静态分区表案列#创建表create table student(id string,name string,age string,sex string)PARTITIONED BY(student_age string)ROW FORMAT DELIMITED
2020-09-17 11:02:06
1679
导出excel和csv格式模板.zip
2021-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人