weixin_41744018的博客

原创 达梦数据库导出数据表结构到excel

and utc.Table_Name = ‘表名’ and owner=‘模式’utc.data_precision 数据精度,utc.data_length 数据长度,utc.column_name 字段名,utc.data_type 字段类型,utc.nullable 是否为空 ,第二步在查出内容右键，导出所有结果集。ucc.comments 备注。

原创 linux解压2G以上的zip

使用7-Zip：7-Zip是一个功能强大的压缩和解压缩工具，可以处理大于2GB的ZIP文件。首先，确保您已经安装了7-Zip。使用tar命令：如果您的ZIP文件已经超过2GB，您可以先将其转换为tar文件，然后再解压缩。这样，您就可以成功解压大于2GB的ZIP文件了。这将成功解压大于2GB的ZIP文件。

原创 眼底图像4

眼底图像分割

原创 眼底图像识别分割3

原创 眼底图像2

本文利用公共眼底图像数据集 REFUGE进行 OD 和 OC 分割,评价方法性能. ERFUGE 数据集包括1 200 幅彩色眼底图像,其中120 幅为青光眼患者的,1 080 幅为非青光眼患者的. 所有眼底图像以每个颜色通道为8 位的 JPEG 格式存储. 数据集由官方划分为 3 个子集,每个子集包含 400 幅眼底图像,分别包含 10% 的青光眼病例和 90% 的非青光眼病例. 图像分辨率为2 124 × 2 056 和1 634 × 1 634. 每幅图像中 OD 和 OC 的标注由

原创 眼底图像识别

医学数据中的眼底彩照背景多为橘黄色和橘红色，除了较容易观察到的生理结构信息：眼底血管、视杯视盘和黄斑等，还有不易观察的病理结构信息：如血管瘤、渗出物、点状出血等。u_net在医疗图像识别领域应用比较广，主要是语义分割数据集：血管异常、视盘视杯细微变化、身处物质、血管动脉瘤Le-Net,AlexNet,VggNet,GoogleNet,ResNet,Inception等卷积层（convolutionlayer），池化层（polling layer），激活函数（Activation layer）,

原创 mapper学习

1.插入后select是干啥呢？/** * Insert server crash alert * <p>This method will ensure that there is at most one unsent alert which has the same content in the database. */ void insertAlertWhenServerCrash(@Param("alert") Alert alert); &lt

原创 java code examples

这里有各种java样例

原创 kafka常用命令

发现一个月前写的kafka程序找不见了，而且感觉kafka的命令也像完全重新接触一样，看来还是要多做总结吧，需要消化式的记忆，应用，负责稍微一段时间没用，就全都忘了。常用命令使用的都是kafka的bin目录下的命令，kafka-server-start.sh启动，kafka-topic.sh主题topic命令，kafka-console-producer.sh生产者命令，kafka-console-consumer.sh消费者命令，然后需要指定kafka集群的连接地址，指定topic，这个指定集群地址通

原创 elasticsearch

学习资料参考：知乎的学习资料

原创 hbase介绍

主要参考：1.hbase介绍12.hbase介绍2简单总结主要需要明白hbase存储的模式，1.存储的数据没有类型的概念，都是以Bytes存储，这就是为什么java api里边需要取出来的时候：Bytes.toString,写入的时候Bytes.toBytes（）rowkey2.通过{row key，column(=< family> + < label>)，version} 唯一确定的单元，1)通过单个 Row Key 访问。2)通过 Row Key 的 rang

原创 hbase java api

引用：hbase java api接口列表

原创 java spark命令行执行参数

java命令行java -jar jar包位置 参数1 参数2java -cp jar包位置 主类（com.XXX.XX） 参数1 参数2java -cp /home/dataworks-1.0.0-jar-with-dependencies.jar com.casic304.dataworks.core.MyTest /home/columnRename.jsonspark命令行运行spark-submit --master (local本地运行，spark://host:port, y

原创 hdfs常用命令

命令样式命令头hadoop fshdfs dfs两个开头是一样的命令内容接下来是，-ls、-put、-mkdir、-get、-rm、-mv、-chmod、-cat等命令后边跟着文件，hdfs文件的目录是这样的地址路径hdfs://host:port/home/port一般是9000如果是put，第一个是hdfs地址，第二个是本地文件位置安全模式等其他命令...

原创 ssh免密登陆

#生成秘钥ssh-keygen -t rsa“ssh-keygen”通过参数“-t”指定加密算法，这里的参数rsa表示采用RSA加密算法。RSA加密算法是一种典型的非对称加密算法，它基于大数的因式分解这种数学难题，是引用最广泛的非对称加密算法之一。([https://blog.csdn.net/qq_36384657/article/details/105392564]);一路回车即可，#生成公钥分发ssh-copy-id 地址地址对应的是要免密登陆的主机，可以是自己也可以是远程主机。#是否配

原创 spark dataframe常用操作集锦

转自：https://blog.csdn.net/eylier/article/details/109017726

原创 spark生成dataframe的几种方式

转自：https://blog.csdn.net/shirukai/article/details/81085642

原创 jar包导入本地maven仓库

mvn install:install-file -Dfile=G:\3dajun\elasticsearch-spark-20_2.11-6.8.20.jar -DgroupId=org.elasticsearch -DartifactId=elasticsearch-spark-20_2.11 -Dversion=6.8.20 -Dpackaging=jar

原创 java常见抛出异常

参见：https://blog.csdn.net/u014717036/article/details/52179739

原创 数据治理相关介绍

关于数据血缘和数据治理概念，参见1。https://blog.csdn.net/ywm041004/article/details/842618112。https://blog.csdn.net/ywm041004/article/details/836923963。https://baijiahao.baidu.com/s?id=1595989031095409002&wfr=spider&for=pc

原创 springcloud gateway介绍

参看：https://www.cnblogs.com/crazymakercircle/p/11704077.html

原创 centos安装mysql8及一些问题解决

查找mysql安装目录find / -name mysql启动、重启、停止mysqlsystemctl start mysqld.servicesystemctl restart mysqld.servicesystemctl stop mysqld.service设置开机启动systemctl enable mysqld查看服务状态systemctl status mysqld用密码登录mysqlmysql -uroot -p修改登录密码alter user ‘root’@‘lo

原创 centos开关机命令

Linux centos重启命令：　　1、reboot 普通重启　　2、shutdown -r now 立刻重启(root用户使用)　　3、shutdown -r 10 过10分钟自动重启(root用户使用)　　4、shutdown -r 20:35 在时间为20:35时候重启(root用户使用)　　如果是通过shutdown命令设置重启的话，可以用shutdown -c命令取消重启　Linux centos关机命令：　　1、halt 立刻关机　　2、poweroff 立刻关机　　3、

原创 java异常类型及处理

Java 异常处理异常是程序中的一些错误，但并不是所有的错误都是异常，并且错误有时候是可以避免的。比如说，你的代码少了一个分号，那么运行出来结果是提示是错误 java.lang.Error；如果你用System.out.println(11/0)，那么你是因为你用0做了除数，会抛出 java.lang.ArithmeticException 的异常。异常发生的原因有很多，通常包含以下几大类：用户输入了非法数据。要打开的文件不存在。网络通信时连接中断，或者JVM内存溢出。这些异常有的是因为用户错

原创 javaagent的优势

截选：https://blog.csdn.net/u012410733/article/details/1048781111、为什么系统需要监控随着分布式服务框架的流行，特别是微服务等设计理念在系统中应用，业务的调用链越来越复杂。可以看到，随着服务的拆分，系统的模块变得越来越多，不同的模块可能由不同的团队维护。一个调用请求可能会涉及到几十个服务协同处理，牵扯到多个团队的业务系统，那么如何快速定位到线上故障？如何有效的进行相关的数据分析工作？对于大型网站系统，如淘宝、京东等大型互联网公司，这些问题

原创 skywalking学习

这篇讲的比较好skywalking原理_40张图看懂：分布式追踪系统原理及实践https://blog.csdn.net/weixin_39866487/article/details/111581322?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-0.no_search_link&spm=1001.2101.3001.4242...

转载 AOP功能学习

AOP转自：https://www.cnblogs.com/xrq730/p/4919025.htmlAOP（Aspect Oriented Programming），即面向切面编程，可以说是OOP（Object Oriented Programming，面向对象编程）的补充和完善。OOP引入封装、继承、多态等概念来建立一种对象层次结构，用于模拟公共行为的一个集合。不过OOP允许开发者定义纵向的关系，但并不适合定义横向的关系，例如日志功能。日志代码往往横向地散布在所有对象层次中，而与它对应的对象的核心功

原创 全链路跟踪对比，skywalking、zipkin等

参考文章介绍可以参考链接，https://blog.csdn.net/weixin_44777693/article/details/108703025。项目需求全链路跟踪更多是对系统的监控，不是业务的操作日志，如果系统应用了skywalking，还需要打log吗，我这个项目是要对系统运维、用户日志等所有操作，以及各个接口和方法中感兴趣或关心的点进行插桩记录，形成log日志，用于离线数据分析，或是实时的报警，这个skywalking是否可以实现呢？如果是可以的话，原来系统还需要进行log记录吗？不太清

原创 skywalking官方文档学习

需求需要负责完成一个大数据项目的全链路监控，通过调研，skywalking功能强大，社区活跃，文档齐全，所以从skywalking出发，学习研究项目框架、代码，用在本项目中。官方文档已经在哔哩哔哩看了不厌老师的源代码解析，但是还没有看源代码，本人java水平也比较low，先看一下skywalking官方文档，对项目架构有些了解，这里主要是对官方文档的摘要，不然只看一遍文档也没什么收获，这里记录一下。学习探针简介服务自动打点代理利用java字节码的技术，通过javaagent premain，

原创 showdoc修改json转表格格式

需求接口文档和showdoc默认生成的表格表头不一致，尝试了一下，发现showdoc不能修改表头，所以自己写了一个在线json转markdown的html。页面代码：<!DOCTYPE html><html lang="zh_cn"><head> <meta charset="UTF-8"> <title>JSON转Markdown表格</title></head><style>

原创 docker常用命令

docker start 容器/iddocker stop 容器/iddocker run imagedocker container rm 容器/iddocker psdocker system prune

原创 Docker error : no space left on device docker 空间不足

运行命令docker system prune提示：WARNING! This will remove:all stopped containersall networks not used by at least one containerall dangling imagesall dangling build cacheAre you sure you want to continue? [y/N]还有其他方法，但已经解决我的问题，没有再尝试更换存储目录等。...

原创 docker部署showdoc

docker安装showdoc原版官方镜像安装命令(中国大陆用户不建议直接使用原版镜像，可以用后面的加速镜像)中国大陆镜像安装命令（安装后记得执行docker tag命令以进行重命名）如果你是想把数据挂载到其他目录，比如说/data1，那么，可以在/data1目录下新建一个showdoc_data/目录，然后在根目录的新建一个软链接/showdoc_data到/data1/showdoc_data这样既能保持跟官方教程推荐的路径一致，又能达到自定义存储的目的.问题用到的几个命令安装前请确保你的环境已经装好

原创 centos安装docker

docker安装1.下载关于Docker的依赖环境2.设置下载Docker的镜像源3.安装Docker4.启动Docker，并设置为开机自动启动，测试启动Docker服务设置开机自动启动测试需要在/etc/docker/daemon.jsonip:port重启两个服务1. 拉取镜像到本地举个例子 tomcat2. 查看全部本地的镜像3. 删除本地镜像4. 镜像的导入导出(不规范)将本地的镜像导出加载本地的镜像文件修改镜像名称1. 运行容器简单操作常用的参数-d: 代表后台运行容器-p: 宿主机端口:容器端口

原创 centos7 python2升级为python3，并且重新配置yum

@[TOC]centos7 python2升级为python3，并且重新配置yum默认的python2升级为python3CentOS7中自带的python版本是python-2.7.5，由于新开的虚拟机需要使用python3，于是便升级一下版本。安装Python3.7.3官网下载地址：https://www.python.org/downlo…clipboard.png这里选择下载python 3.7.3。下载wget https://www.python.org/ftp/python/3

原创 centos7 python2换成python3后，yum报错解决

@centos7 python2换成python3后，yum报错解决报错vi /usr/bin/yum-config-manager换成python2插入链接与图片链接: link.图片: 带尺寸的图片: 居中的图片: 居中并且带尺寸的图片: 当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。如何插入一段漂亮的代码片去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.// An highlighted blockvar foo = 'bar';

转载 eclipse（window平台）快捷键总结

转自https://www.cnblogs.com/fsh001/p/9051199.html保存1.保存当前代码页： ctrl + s2.保存所有代码页： ctrl + shift + s代码补全与修正1.代码快速修正： ctrl + 12.代码提示与补全： alt + /3.快速导包： ctrl + shift + o4.快速接收方法返回值： alt + shift + l(在...

原创 hbase java api

使用maven建立项目或者直接从hbase导入jar包用maven需要配置pom.xml，并且虚拟机需要联网。以前的工程是否还在，如果在可以仿照之前的pom.xml配置。使用hbase导入包直接导入jar包就行了，可以按照https://www.cnblogs.com/zlslch/p/6023193.html的步骤配置maven项目，感觉好麻烦，先直接导包吧。本地运行...

原创 maven创建项目

创建一般java项目pom文件配置