- 博客(24)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 使用 docker-20.10.8 跑一个 java 应用程序
1, docker 安装# 安装 yum-utils，否则没有下面用到的 yum-config-manager 命令yum install -y yum-utils添加Docker CE的yum源，如果国内不能访问的话，使用第二个链接yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repoyum-config-manager --add-repo http://mirrors.ali
2021-08-11 17:26:28
316
原创 使用docker-19.03.14搭建hadoop-2.9.2完全分布式集群-之二-部署和运行.md
安装 Docker# 安装 yum-utils[root@do-hadoop ~]# yum install -y yum-utils# 添加Docker CE的yum源[root@do-hadoop ~]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo[root@do-hadoop ~]# yum makecache fast# 看一下仓库里的最新版本[root@
2020-12-08 15:34:49
327
原创 使用docker-19.03.14搭建hadoop-2.9.2完全分布式集群-之一-规划和环境
集群规划在宿主机上安装 docker，在 docker 上部署 4 个容器，包括 3 个 hadoop 节点和 1 个客户端。使用 mysql 来存放 hive 的 metadata 元数据。宿主机IP: 192.168.109.128docker 网络: 172.18.0.1/24ContainerIPRolehadoop11172.18.0.11NameNode,SecondaryNameNode,ResourceManager,JobHistory,DataNode
2020-12-08 15:33:01
290
原创 git 切换分支时相互影响的问题
问题develop 分支上有 add 但还没有 commit 的文件。切换到 other 分支后，这些文件在 other 分支下也能被看到。为什么，怎么解决小知识如何隐藏当前暂存区内容# 初始化一个 git 库$ git init$ ll ./ > aa.txt$ git add .$ git commit -m "committed aa..txt"# 隐藏当前分支的工作现场(必须添加到暂存区)$ ll ../ > bb.txt$ git add .$ g
2020-10-13 14:02:55
419
原创 jdk 1.8 之 Socket 查询服务
需求提供一个 Socket 服务客户端输入一个 eci，返回该 eci 的经纬度编码eci.location.csv(部份)ECI,LONGITUDE,LATITUDE12345678,121.59314,31.219623456789,121.59314,31.219634567891,121.479166,31.29416645678912,121.488,31.19856789123,121.268094,31.330225Server.javapackage sock
2020-09-25 15:00:40
354
原创 Win10 下判断 exe 文件是32位还是64位
查看一个exe文件是32位还是64位用文本编辑器，比如 Notepad++ 之类的，打开这个 exe 文件，在打开内容的靠前位置，有 This is program cannot be run in DOS mode 的字样在他的后面几行会有个PE…L…什么的，说明这个exe是32位的程序同理 PE…d…表示64位程序。这只是表示当前这个exe的版本，如果这个exe是个安装包，只能说明这个安装包是32位的。如下图，mysql.exe 就是个 64 位的程序。如下图，nginx.exe 就是个
2020-09-08 09:02:44
3524
原创 java MyBatis3 试用
1, 知识点基本要素:mybatis-cfg.xmlStudentMapper.xml实体类 Student.java映射接口 StudentMapper.java工具类 MyBatisUtils.java测试类 StudentMapperTest.java执行流程:StudentMapperTest.java 加载 mybatis-cfg.xmlmybatis-cfg.xml 引入 StudentMapper.xmlStudentMapperTest.java 利用 MyBat
2020-09-07 15:38:33
146
原创 Oracle 12c 临时表空间清理
1, 需求1, Oracle 数据库，临时表空间 FASTTEMP 满，需要清理。2, 解决方法思考1, 创建新的临时表空间 FASTTEMP2 及文件2, 用 FASTTEMP2 替换 FASTTEMP3, 删除 FASTTEMP 临时表空间及其文件4, 创建新的临时表空间 FASTTEMP 及文件5, 用 FASTTEMP 替换 FASTTEMP26, 删除 FASTTEMP2 临时表空间及其文件3, 实施过程1, 看一下临时表空间的使用情况select c.tablespace_
2020-09-02 09:50:13
1852
原创 java 以流的方式读取并解析 FTP 上的 XML 文件
在需要大批量解析 FTP 上的 xml 文件时，下载回本地再处理，会增加两次磁盘 io 操作。所以本文尝试以流的方式，来读取并解析出 ftp 上的 xml 文件内容。1, 准备 XML 文件文件名: USER_20200822.xml<?xml version="1.0" encoding="UTF-8"?><Migration><Session Name="张三" Type="Online"> <Access> <Url Report
2020-08-29 16:22:20
1440
原创 MySQL8 之创建维护小时分区表
1, 手工操作# 创建分区表CREATE TABLE `t_mr_ftp_file` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `sdate` INT(10) NOT NULL, `ip` VARCHAR(20) NULL DEFAULT NULL, `prod` VARCHAR(10) NULL DEFAULT NULL, `mrtype` VARCHAR(10) NULL DEFAULT NULL, `name` VARCHAR(256) NULL
2020-08-21 21:49:41
526
原创 Airflow1.10.11 之 dag 的 SSHOperator
1, 准备脚本[root@do-airflow ~]# vi test.b.script.sh#!/bin/bashS_FILE=""S_DAY=$3if [ -z $S_DAY ]; then S_DAY=`date '+%Y%m%d'`fi case $2 in "1") S_FILE="/root/$S_DAY.$1.1.log" ;;"2") S_FILE="/root/$S_DAY.$1.2.log" ;;"3") S_FILE="/root/$S_DAY.
2020-07-28 10:19:01
1862
1
原创 Airflow1.10.11 之运行 dag 的三种方式
1, 准备脚本[root@do-airflow ~]# vi test.b.script.sh#!/bin/bashS_FILE=""S_DAY=$3if [ -z $S_DAY ]; then S_DAY=`date '+%Y%m%d'`fi S_FILE="/root/$S_DAY.$1.$2.log"rm -f $S_FILEI=0while true; do S_MSG=`date "+%Y-%m-%d %H:%M:%S"` echo $S_MSG echo $
2020-07-27 20:00:21
3629
原创 Airflow1.10.11 之 dag 接收命令行参数
1, 设计思想有些任务的使用场景，不需要定时定期运行，只需要在特定的条件下，人工触发，顺带传入一些必要的参数，比如处理日期。那么，我们就设计这样的使用方式:传入 sday 参数，指定参数值为 20300101 日。dag 的每一个 task 都接收这个参数。被 task 调用的 shell 脚本程序，在生成的日志文件名中，包含这个 sday 的值。2, 编写被 dag 调用的 shell 程序[root@do-airflow ~]# vi /root/test.script.sh#!/b
2020-07-27 15:35:17
1986
原创 java ssh 连接之 jsch-0.1.55.jar 试用
JSch 是一个纯 java 的 ssh2 实现。主要用来连接 ssh 和 sftp。官网在此: http://www.jcraft.com/jsch/1, MAVEN 引入依赖<!-- https://mvnrepository.com/artifact/com.jcraft/jsch --><dependency> <groupId>com.jcraft</groupId> <artifactId>jsch</ar
2020-07-23 10:35:03
2998
3
原创 Airflow1.10.11 之添加第一个 dag
1, 任务设计一期汇聚一期入库Oracle汇聚二期汇聚二期入库说明：一、二期都有同样的处理，包括汇聚、入库。二期汇聚，依赖一期的汇聚结果。一、二期都入完Oracle后，再启动Oracle侧的汇聚。2, 配置 dag# 隐藏 airflow 自带的 dag 样例[root@do-airflow ~]# systemctl stop airflow-webserver[root@do-airflow ~]# systemctl stop airflow-scheduler[root@d
2020-07-20 14:57:32
2224
原创 在 CentOS7 上安装 Airflow1.10.11
1, 安装配置# 看一下可以安装的 gcc 的版本[root@do-airflow ~]# yum list | grep gcc.x86_64libgcc.x86_64 4.8.5-16.el7 @anacondagcc.x86_64 4.8.5-39.el7 baselibgcc.x86_64
2020-07-17 10:21:54
298
原创 在 CentOS7 上安装 MySQL8.0.21
1, 安装下载yum仓库，在如下url中，找到 Red Hat Enterprise Linux 7 的 rpm package。https://dev.mysql.com/downloads/repo/yum/# 下载回来wget https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm# 安装仓库yum -y install mysql80-community-release-el7-3.noarch.rpm#
2020-07-16 19:25:00
1657
原创 shell 之 每月最后一天的计算及cron设置
1, 计算方法#!/bin/bash# month.lastday.sh# 指定月份，必须是 YYYYMM 格式if [[ $1 == "" ]]; then # 未指定，默认当月 S_MTH=`date "+%Y%m"`else S_MTH=$1fi# 第一种方法## 原理：打印月历、参数化、取最后一列## 解析日期字符串S_YEAR=${S_MTH:0:4}S_MONTH=${S_MTH:4:2}S_LAST_DAY=`cal $S_MONTH $
2020-07-14 11:05:12
655
原创 jdk 1.8 之 ScheduledThreadPoolExecutor 定时任务的退出和取消
package com.dosrain.shunc.trial.schedule;import java.util.concurrent.*;public class PoolTest2 { public static void main(String[] args) { // 设置一个同步计算数，目的是让子线程完成工作后，主线程再继续工作。 // 因为这里只有一个子线程，所以设值为 1 CountDownLatch cou
2020-07-13 15:32:25
7347
2
原创 jdk 1.8 之 LocalDate、LocalTime、LocalDateTime 试用
注意： LocalDate、LocalTime、LocalDateTime、Instant，这几个类的所有属性，都有 final 修饰符，所以，所有修改这些类属性的方法，都会返回一个新的对象副本。如果还是使用原来的对象，修改无效。1, 获取时间 // LocalDate // 获取当前日期 LocalDate localDate = LocalDate.now(); // 2020-07-07 /
2020-07-08 10:58:08
351
原创 jdk 1.8 之 ScheduledThreadPoolExecutor 试用
完整类名：java.util.concurrent.ScheduledThreadPoolExecutor1, 试用代码package com.dosrain.shunc.trial.schedule;import java.text.SimpleDateFormat;import java.util.Date;import java.util.concurrent.ScheduledThreadPoolExecutor;import java.util.concurrent.TimeUnit
2020-07-06 14:14:56
235
原创 win10家庭版远程连接:要求的函数不受支持
客户机，regedit，打开注册表进入路径，HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\创建级联项，CredSSP\Parameters进入 HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters创建 “DWORD(32位)值”，数值名称为：AllowEn.
2020-07-06 08:43:44
641
原创 jdk 1.8 之 java.util.Timer 试用
1, 试用代码package com.dosrain.shunc.trial.schedule;import java.text.SimpleDateFormat;import java.util.Date;import java.util.Timer;import java.util.TimerTask;public class TimerTest { public static void main(String[] args) throws Exception {
2020-07-03 16:10:37
160
原创 利用 httpd 2.4在 centos 7.4上建立软件分发下载站点的初试
利用 httpd 2.4在 centos 7.4上建立软件分发下载站点的初试1, 安装[root@D-WY-DEV8 ~]# yum install httpd # 安装 httpd[root@D-WY-DEV8 ~]# systemctl start httpd # 启动 httpd[root@D-WY-DEV8 ~]# systemctl enable httpd # 开机自启动 httpd[root@D-WY-DEV8 ~]# ht
2020-07-02 19:03:42
136
openssh8.0.tar.gz
2019-08-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人