![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
开船
szlcy
这个作者很懒,什么都没留下…
展开
-
使用 docker-20.10.8 跑一个 java 应用程序
1, docker 安装# 安装 yum-utils,否则没有下面用到的 yum-config-manager 命令yum install -y yum-utils添加Docker CE的yum源,如果国内不能访问的话,使用第二个链接yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repoyum-config-manager --add-repo http://mirrors.ali原创 2021-08-11 17:26:28 · 291 阅读 · 0 评论 -
使用docker-19.03.14搭建hadoop-2.9.2完全分布式集群-之二-部署和运行.md
安装 Docker# 安装 yum-utils[root@do-hadoop ~]# yum install -y yum-utils# 添加Docker CE的yum源[root@do-hadoop ~]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo[root@do-hadoop ~]# yum makecache fast# 看一下仓库里的最新版本[root@原创 2020-12-08 15:34:49 · 308 阅读 · 0 评论 -
使用docker-19.03.14搭建hadoop-2.9.2完全分布式集群-之一-规划和环境
集群规划在宿主机上安装 docker,在 docker 上部署 4 个容器,包括 3 个 hadoop 节点和 1 个客户端。使用 mysql 来存放 hive 的 metadata 元数据。宿主机IP: 192.168.109.128docker 网络: 172.18.0.1/24ContainerIPRolehadoop11172.18.0.11NameNode,SecondaryNameNode,ResourceManager,JobHistory,DataNode原创 2020-12-08 15:33:01 · 274 阅读 · 0 评论 -
git 切换分支时相互影响的问题
问题develop 分支上有 add 但还没有 commit 的文件。切换到 other 分支后,这些文件在 other 分支下也能被看到。为什么,怎么解决小知识如何隐藏当前暂存区内容# 初始化一个 git 库$ git init$ ll ./ > aa.txt$ git add .$ git commit -m "committed aa..txt"# 隐藏当前分支的工作现场(必须添加到暂存区)$ ll ../ > bb.txt$ git add .$ g原创 2020-10-13 14:02:55 · 405 阅读 · 0 评论 -
jdk 1.8 之 Socket 查询服务
需求提供一个 Socket 服务客户端输入一个 eci,返回该 eci 的经纬度编码eci.location.csv(部份)ECI,LONGITUDE,LATITUDE12345678,121.59314,31.219623456789,121.59314,31.219634567891,121.479166,31.29416645678912,121.488,31.19856789123,121.268094,31.330225Server.javapackage sock原创 2020-09-25 15:00:40 · 334 阅读 · 0 评论 -
Win10 下判断 exe 文件是32位还是64位
查看一个exe文件是32位还是64位用文本编辑器,比如 Notepad++ 之类的,打开这个 exe 文件,在打开内容的靠前位置,有 This is program cannot be run in DOS mode 的字样在他的后面几行会有个PE…L…什么的,说明这个exe是32位的程序同理 PE…d…表示64位程序。这只是表示当前这个exe的版本,如果这个exe是个安装包,只能说明这个安装包是32位的。如下图,mysql.exe 就是个 64 位的程序。如下图,nginx.exe 就是个原创 2020-09-08 09:02:44 · 3362 阅读 · 0 评论 -
java MyBatis3 试用
1, 知识点基本要素:mybatis-cfg.xmlStudentMapper.xml实体类 Student.java映射接口 StudentMapper.java工具类 MyBatisUtils.java测试类 StudentMapperTest.java执行流程:StudentMapperTest.java 加载 mybatis-cfg.xmlmybatis-cfg.xml 引入 StudentMapper.xmlStudentMapperTest.java 利用 MyBat原创 2020-09-07 15:38:33 · 133 阅读 · 0 评论 -
Oracle 12c 临时表空间清理
1, 需求1, Oracle 数据库,临时表空间 FASTTEMP 满,需要清理。2, 解决方法思考1, 创建新的临时表空间 FASTTEMP2 及文件2, 用 FASTTEMP2 替换 FASTTEMP3, 删除 FASTTEMP 临时表空间及其文件4, 创建新的临时表空间 FASTTEMP 及文件5, 用 FASTTEMP 替换 FASTTEMP26, 删除 FASTTEMP2 临时表空间及其文件3, 实施过程1, 看一下临时表空间的使用情况select c.tablespace_原创 2020-09-02 09:50:13 · 1777 阅读 · 0 评论 -
java 以流的方式读取并解析 FTP 上的 XML 文件
在需要大批量解析 FTP 上的 xml 文件时,下载回本地再处理,会增加两次磁盘 io 操作。所以本文尝试以流的方式,来读取并解析出 ftp 上的 xml 文件内容。1, 准备 XML 文件文件名: USER_20200822.xml<?xml version="1.0" encoding="UTF-8"?><Migration><Session Name="张三" Type="Online"> <Access> <Url Report原创 2020-08-29 16:22:20 · 1414 阅读 · 0 评论 -
MySQL8 之创建维护小时分区表
1, 手工操作# 创建分区表CREATE TABLE `t_mr_ftp_file` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `sdate` INT(10) NOT NULL, `ip` VARCHAR(20) NULL DEFAULT NULL, `prod` VARCHAR(10) NULL DEFAULT NULL, `mrtype` VARCHAR(10) NULL DEFAULT NULL, `name` VARCHAR(256) NULL原创 2020-08-21 21:49:41 · 509 阅读 · 0 评论 -
Airflow1.10.11 之 dag 的 SSHOperator
1, 准备脚本[root@do-airflow ~]# vi test.b.script.sh#!/bin/bashS_FILE=""S_DAY=$3if [ -z $S_DAY ]; then S_DAY=`date '+%Y%m%d'`fi case $2 in "1") S_FILE="/root/$S_DAY.$1.1.log" ;;"2") S_FILE="/root/$S_DAY.$1.2.log" ;;"3") S_FILE="/root/$S_DAY.原创 2020-07-28 10:19:01 · 1834 阅读 · 1 评论 -
Airflow1.10.11 之运行 dag 的三种方式
1, 准备脚本[root@do-airflow ~]# vi test.b.script.sh#!/bin/bashS_FILE=""S_DAY=$3if [ -z $S_DAY ]; then S_DAY=`date '+%Y%m%d'`fi S_FILE="/root/$S_DAY.$1.$2.log"rm -f $S_FILEI=0while true; do S_MSG=`date "+%Y-%m-%d %H:%M:%S"` echo $S_MSG echo $原创 2020-07-27 20:00:21 · 3570 阅读 · 0 评论 -
Airflow1.10.11 之 dag 接收命令行参数
1, 设计思想有些任务的使用场景,不需要定时定期运行,只需要在特定的条件下,人工触发,顺带传入一些必要的参数,比如处理日期。那么,我们就设计这样的使用方式:传入 sday 参数,指定参数值为 20300101 日。dag 的每一个 task 都接收这个参数。被 task 调用的 shell 脚本程序,在生成的日志文件名中,包含这个 sday 的值。2, 编写被 dag 调用的 shell 程序[root@do-airflow ~]# vi /root/test.script.sh#!/b原创 2020-07-27 15:35:17 · 1922 阅读 · 0 评论 -
java ssh 连接之 jsch-0.1.55.jar 试用
JSch 是一个纯 java 的 ssh2 实现。主要用来连接 ssh 和 sftp。官网在此: http://www.jcraft.com/jsch/1, MAVEN 引入依赖<!-- https://mvnrepository.com/artifact/com.jcraft/jsch --><dependency> <groupId>com.jcraft</groupId> <artifactId>jsch</ar原创 2020-07-23 10:35:03 · 2929 阅读 · 3 评论 -
Airflow1.10.11 之添加第一个 dag
1, 任务设计一期汇聚一期入库Oracle汇聚二期汇聚二期入库说明:一、二期都有同样的处理,包括汇聚、入库。二期汇聚,依赖一期的汇聚结果。一、二期都入完Oracle后,再启动Oracle侧的汇聚。2, 配置 dag# 隐藏 airflow 自带的 dag 样例[root@do-airflow ~]# systemctl stop airflow-webserver[root@do-airflow ~]# systemctl stop airflow-scheduler[root@d原创 2020-07-20 14:57:32 · 2186 阅读 · 0 评论 -
在 CentOS7 上安装 Airflow1.10.11
1, 安装配置# 看一下可以安装的 gcc 的版本[root@do-airflow ~]# yum list | grep gcc.x86_64libgcc.x86_64 4.8.5-16.el7 @anacondagcc.x86_64 4.8.5-39.el7 baselibgcc.x86_64原创 2020-07-17 10:21:54 · 285 阅读 · 0 评论 -
在 CentOS7 上安装 MySQL8.0.21
1, 安装下载yum仓库,在如下url中,找到 Red Hat Enterprise Linux 7 的 rpm package。https://dev.mysql.com/downloads/repo/yum/# 下载回来wget https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm# 安装仓库yum -y install mysql80-community-release-el7-3.noarch.rpm#原创 2020-07-16 19:25:00 · 1638 阅读 · 0 评论 -
shell 之 每月最后一天的计算及cron设置
1, 计算方法#!/bin/bash# month.lastday.sh# 指定月份,必须是 YYYYMM 格式if [[ $1 == "" ]]; then # 未指定,默认当月 S_MTH=`date "+%Y%m"`else S_MTH=$1fi# 第一种方法## 原理:打印月历、参数化、取最后一列## 解析日期字符串S_YEAR=${S_MTH:0:4}S_MONTH=${S_MTH:4:2}S_LAST_DAY=`cal $S_MONTH $原创 2020-07-14 11:05:12 · 632 阅读 · 0 评论 -
jdk 1.8 之 ScheduledThreadPoolExecutor 定时任务的退出和取消
package com.dosrain.shunc.trial.schedule;import java.util.concurrent.*;public class PoolTest2 { public static void main(String[] args) { // 设置一个同步计算数,目的是让子线程完成工作后,主线程再继续工作。 // 因为这里只有一个子线程,所以设值为 1 CountDownLatch cou原创 2020-07-13 15:32:25 · 7139 阅读 · 2 评论 -
jdk 1.8 之 LocalDate、LocalTime、LocalDateTime 试用
注意: LocalDate、LocalTime、LocalDateTime、Instant,这几个类的所有属性,都有 final 修饰符,所以,所有修改这些类属性的方法,都会返回一个新的对象副本。如果还是使用原来的对象,修改无效。1, 获取时间 // LocalDate // 获取当前日期 LocalDate localDate = LocalDate.now(); // 2020-07-07 /原创 2020-07-08 10:58:08 · 334 阅读 · 0 评论 -
jdk 1.8 之 ScheduledThreadPoolExecutor 试用
完整类名:java.util.concurrent.ScheduledThreadPoolExecutor1, 试用代码package com.dosrain.shunc.trial.schedule;import java.text.SimpleDateFormat;import java.util.Date;import java.util.concurrent.ScheduledThreadPoolExecutor;import java.util.concurrent.TimeUnit原创 2020-07-06 14:14:56 · 227 阅读 · 0 评论 -
win10家庭版远程连接:要求的函数不受支持
客户机,regedit,打开注册表进入路径,HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\创建级联项,CredSSP\Parameters进入 HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters创建 “DWORD(32位)值”,数值名称为:AllowEn.原创 2020-07-06 08:43:44 · 631 阅读 · 0 评论 -
jdk 1.8 之 java.util.Timer 试用
1, 试用代码package com.dosrain.shunc.trial.schedule;import java.text.SimpleDateFormat;import java.util.Date;import java.util.Timer;import java.util.TimerTask;public class TimerTest { public static void main(String[] args) throws Exception {原创 2020-07-03 16:10:37 · 149 阅读 · 0 评论 -
利用 httpd 2.4在 centos 7.4上建立软件分发下载站点的初试
利用 httpd 2.4在 centos 7.4上建立软件分发下载站点的初试1, 安装[root@D-WY-DEV8 ~]# yum install httpd # 安装 httpd[root@D-WY-DEV8 ~]# systemctl start httpd # 启动 httpd[root@D-WY-DEV8 ~]# systemctl enable httpd # 开机自启动 httpd[root@D-WY-DEV8 ~]# ht原创 2020-07-02 19:03:42 · 126 阅读 · 0 评论