nansen0324的博客

原创 Apache nifi将sql查询结果发送邮件

【代码】Apache nifi将sql查询结果发送邮件。

原创 airflow从datahub获取数据到mysql数据库

使用airflow从datahub获取数据到DB，修改数据，打包csv档发送minio，task执行成功邮件通知复写等

原创 docker的安装

centos下docker的安装

原创 docker拉取镜像，dns无法解析网址解决方法

docker拉取镜像，dns无法解析网址解决方法

原创 mysql用like区分大小写用法

mysql用like区分大小写用法

原创 Elasticsearch使用reindex命令同步跨集群索引数据(跨服务器)

ES同步数据(跨服务器)

原创 node连接kafka2.0

nodejs连接kafka2.0

原创 angular引入json文件报错找不到模块“../assets/config/config.json”。请考虑使用 “--resolveJsonModule“ 导入带 “.json“ 扩展的模块。

angular引入json报错

原创 linux里内容和变量的替换

url=www.baidu.comurl=www.baidu.comecho $url#www.baidu.com1.将cn替换为govecho ${url/com/gov}#www.baidu.gov2.将第一个w替换成Wecho ${url/w/W}#Www.baidu.com3.将所有w替换成Wecho ${url//w/W}#WWW.baidu.com

转载 linux字符串的截取

第一种使用cut：一般常用的命令echo "hello world" |cut -d" " -f1 #helloecho "hello world" |cut -d" " -f2#worldecho "hello world" |cut -d" " -f1-#hello world echo "hello world" |cut -c 1#hecho "hello world" |cut -c 1-4#hellecho "hello world" |cut -c 1,2,5#he

原创 linux与linux之间文件的下载

1.把本机文件下载到目的服务器中文件scp /Volume/storage/file/dispensor/ [email protected]:/armstrong/smartwh/文件夹下所有文件scp -r /Volume/storage/file/dispensor/ [email protected]:/armstrong/smartwh/2.从某个服务器下载文件到本机scp [email protected]:/armstrong/smartwh/1.txt /Volume/

转载 -bash: /usr/bin/yum: /usr/bin/python: 坏的解释器: 没有那个文件或目录

问题：Linux安装Python3.X版本之后，运行yum指令的时候提示-bash: /usr/bin/yum: /usr/bin/python: 坏的解释器: 没有那个文件或目录。解决方法修改以下两个配置文件：/usr/bin/yum/usr/libexec/urlgrabber-ext-down因为yum是依赖于Python2的，所以需要将文件头部的声明路径改回python2.7即可使用yum...

原创 nodejs连接ftp上传下载

依赖//ftp 模块是目前找到的还不错的，对于ftp的基本功能都支持npm install ftp连接ftpconst ftp = require('ftp');//连接FTPconst client = new ftp();client.on('ready',()=>{ console.log('ftp client is ready');});client.connect({ host : '***.***.***.***', port : '****',

原创 vscode里json保存后双引号消失问题解决

首选项=>设置打开setting.json文件，重新设定此文档{ // vscode默认启用了根据文件类型自动设置tabsize的选项 "editor.detectIndentation": false, // 重新设定tabsize "editor.tabSize": 2, // #每次保存的时候自动格式化 "editor.formatOnSave": true, // #每次保存的时候将代码按eslint格式进行修复 "esl

转载 node发送post请求_使用Node发出HTTP POST请求

node发送post请求There are many ways to perform an HTTP POST request in Node, depending on the abstraction level you want to use.有多种方法可以在Node中执行HTTP POST请求，具体取决于您要使用的抽象级别。The simplest way to perform an HTTP request using Node is to use the Axios library:使用N

原创 oracle计算两个日期的相差的小时数、分钟数、秒数

-- 相差小时数select (TO_DATE('2020-06-20 08:01:00', 'yyyy-MM-dd hh24:mi:ss')-TO_DATE('2020-06-20 07:58:00','yyyy-MM-dd hh24:mi:ss'))*24 相差小时数 from dual;---------result:0.05-- 相差分钟数select (TO_DATE('2020-06-20 08:01:00', 'yyyy-MM-dd hh24:mi:ss')-TO_DATE('20

原创 Dbeaver连接Mariadb，can‘t create driver instance

Dbeaver连接Mariadb,出现如下错误的解决添加MariaDB的jar包即可MariaDB官网（https://mariadb.com/downloads/connectors/）

原创 loopback4建model，service，controller等

原创 ts里变量定义any报错Unexpected any. Specify a different type.

关闭any类型的警告：在 .eslintrc.js文件中找到rules 添加一行代码即可"@typescript-eslint/no-explicit-any": ["off"]

原创 node异步方法的异步调用与同步调用

异步方法：module.exports = class QueryLarbor { querydata() { return new Promise((resolve,reject) => { client .search({ index: configs.labor_index, type: type, body: JSON.stringify(esbody), }) .then((re

原创 nodejs新增资料到elasticsearch报错“[invalid_type_name_exception] Document mapping type name can‘t start with

如下报错解决:elasticsearch安装16.0.0版本即可cnpm i [email protected] es = require('elasticsearch');const client = new es.Client({ host: 'xxxx:9200' });client.ping() .then(res => console.log('connection success', res)) .catch(err => console

转载 nodejs获取elasticsearch数据

const es = require('elasticsearch');const client = es.Client({ host: '10.66.24.101:9200' }); client.ping() .then(res => console.log('connection success', res)) .catch(err => console.error('wrong connection', err)); client.search({ ind

原创 Python从Elasticsearch获取数据并输出.csv文件(附完整代码)

# 由于ES限制, 当偏移量>10000时需要特殊处理, 此处略from elasticsearch import Elasticsearchfrom elasticsearch.helpers import bulkimport csvimport osimport sysimport datetimeimport json# 解决写入文件时中文编码问题# reload(sys)# sys.setdefaultencoding('utf-8')# 存储列名称的listco

原创 cron表达式解析生成网站

https://crontab.guru/https://cron.qqe2.com/

原创 读取sql数据写到csv档上传到minio，用airflow定时调度任务

from airflow import DAGfrom airflow.operators.python import PythonOperatorfrom airflow.providers.amazon.aws.hooks.s3 import S3Hookfrom airflow.providers.postgres.hooks.postgres import PostgresHookfrom airflow.utils.dates import days_agofrom airflow.ex

原创 python下载读取minio上压缩档，并将数据塞到mysql

import pandas as pdimport boto3from sqlalchemy import create_engine# create engine to connect mysql(請修user/password/db_name)pg_engine_destination = create_engine("mysql+mysqlconnector://用户名:密码@IP地址/schema名")# s3服务器(minio)连接资料s3_resource = boto3.re

原创 python操作数据库(PostgreSQL)并将数据(包含列名)写到csv档，以“,”分隔

import psycopg2import boto3stmt = """SELECT film.film_id, title, inventory_idFROM filmLEFT JOIN inventory ON inventory.film_id = film.film_idORDER BY title;"""#创建数据库连接db_conn = psycopg2.connect(host='数据库连接ip', dbname='数据库sche

原创 pandas读取压缩档文件，再进行压缩上传到minio或其他s3服务器

pandas读取压缩档文件，再进行压缩上传到minio或其他s3服务器import boto3from zipfile import ZipFileimport pandas as pd# s3服务器的连接配置s3_resource = boto3.resource('s3', endpoint_url='minio网址或其他s3服务器', aws_access_key_id='账号',

原创 pandas读取json文件并进行刷选导出xlsx文件

pandas读取json文件并进行刷选导出xlsx文件原始json数据import pandas as pdimport pprint# 读取json文件df_tv_shows = pd.read_json("datas/tv_shows.json")# 读取json文件中shows数组下所有数据first_obj = df_tv_shows.loc[:, "shows"]# 将shows数组数据读出，其中episodes是shows下的数组df_tmp = pd.json_norma

转载 pycharm智能提示忽略大小写

pycharm智能提示忽略大小写settings=>Editor=>General=>code completion

原创 pycharm安装依赖包

pycharm安装依赖包file=>settings

转载 nodejs模块nodemailer基本使用-邮件发送(支持附件)

nodejs模块nodemailer基本使用-邮件发送(支持附件)下载模块cnpm install nodemailer后端代码–不带附件var nodemailer = require('nodemailer');var transporter = nodemailer.createTransport({ service: 'qq', auth: { user: '[email protected]', pass: 'ugxovfwhvxxxxxx' //授权码,通过QQ

转载 nodejs读取数据库数据转换为excel表格

使用nodejs将mysql数据库中的数据导出成excel格式var mysql = require('mysql');var xlsx = require('node-xlsx');var fs = require('fs');var conn = mysql.createConnection({ host: '127.0.0.1', user: 'root', password: '123', database:'wksits', port: 3306});var data = [

转载 linux更新yum包

linux更新yum包备份系统旧配置文件mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup获取对应版本的CentOS-Base.repo 到/etc/yum.repos.d/目录CentOS5wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.cloud.tencent.com/repo/centos5_base.repoCen

原创 使用nodejs发送订阅mqtt

使用nodejs发送订阅mqttcnpm i mqtt --savevar mqtt = require('mqtt');var opt={ port:1883}var client=mqtt.connect('tcp://10.66.28.51',opt);client.on('connect',function(){ console.log("mqtt已连接"); // client.publish('wks/cim/ASPY/#','需要发送的信息');

转载 使用nodejs生产消费kafka

使用nodejs生产消费kafkacnpm i node-kafkaproducer.jsconst kafka = require('kafka-node');let conn = {'kafkaHost':'10.66.28.25:9092'};var MQ = function (){ this.mq_producers = {};}MQ.prototype.AddProducer = function (conn, handler){ console.log('增