工具类
itcast_xiaohuer
这个作者很懒,什么都没留下…
展开
-
canal env create (mysql -> kafka)
canal env create (mysql -> kafka)原创 2023-02-03 11:21:09 · 380 阅读 · 0 评论 -
datax template build
dataxt template json build, for rapid ETL development work.原创 2023-01-16 16:25:29 · 109 阅读 · 0 评论 -
nginx参数优化(供参考)
【代码】nginx参数优化(供参考)原创 2022-10-21 15:30:19 · 222 阅读 · 0 评论 -
WebService wsdl发送短信功能实现
package com.clinet;public class UCPClinetFactory { private static final ThreadLocal<UCPClient> threadLocal = new ThreadLocal<UCPClient>(); private static String defUrl = "http://ip:port/ucp/services/UCPService?wsdl"; private UCPClient cli原创 2022-05-21 15:22:27 · 470 阅读 · 0 评论 -
Java MD5工具类
import java.security.MessageDigest;/** * Created by lidd * 2021/10/20 9:39 */public class MD5 { /** * MD5加码 生成32位md5码 */ public static String string2MD5(String inStr){ MessageDigest md5 = null; try{ md5原创 2022-01-04 09:51:48 · 711 阅读 · 0 评论 -
Spark读取Mysql实现
import com.alibaba.fastjson.JSONObject;import com.mx.config.mysql.MysqlConfig;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.rdd.JdbcRDD;import scala.reflect.ClassManifestFactory$;im原创 2022-01-04 09:45:34 · 1244 阅读 · 0 评论 -
HDFS java 工具类
import org.apache.commons.io.FileUtils;import org.apache.commons.io.FilenameUtils;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.mapred.JobConf;import org.apache原创 2022-01-04 09:08:02 · 498 阅读 · 2 评论 -
Hbase查询Java实现
/** * hbase 根据rowkey 条件过滤 * * @param hbaseFimilay hbase 列族 * @param hbaseColumn hbase 列 * @param userList 用户列表 * @throws Exception 异常类 */public Map<String, HashSet<String>> scanWithFilterByRowKey(String hbaseFimilay, String hbaseCo原创 2022-01-04 08:56:59 · 609 阅读 · 0 评论 -
根据经纬度播放行车轨迹
经纬度经过处理, 仅供轨迹展示。<!doctype html><html><head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="initial-scale=1.0, user-scalable=no, width=device-width"原创 2021-08-24 16:38:52 · 211 阅读 · 0 评论 -
统计列表中重复出现最多数值
/** * 统计重复出现的次数 * @param a 数据列表 * @return */public static Long computeArraycount(ArrayList<Long> a) { HashMap hmap = new HashMap(); // 统计每个数字出现的次数 for (int i = 0; i < a.size(); i++) { if (hmap.get(a.get(i)) == null) {原创 2021-08-24 10:55:28 · 170 阅读 · 0 评论 -
删除图片——字节数小于指定阈值
# -*- coding: utf-8 -*-"""Created on Wed Sep 23 19:02:11 2020@author: USER"""import osdef delete_small_image(dirname, threshold_size): result = [] for maindir, subdir, file_name_list in os.walk(dirname): for filename in file_name_list原创 2020-09-23 19:23:26 · 112 阅读 · 0 评论 -
爬取百度图片程序
# -*- coding: utf-8 -*-"""Created on Wed Sep 23 16:43:28 2020@author: USER"""import reimport uuidimport requestsimport osimport numpyimport imghdrfrom PIL import Imageimport urllib# 获取百度图片下载图片def download_image(key_word, save_name, downlo原创 2020-09-23 17:23:53 · 351 阅读 · 0 评论 -
python pandas读取read_csv函数设定列名
在python 读取csv文件的时候,有时需要修改目标列的数据类型,这需要在read_csv函数中指定。(1) 读取同时设定标题msisdn_list = pd.read_csv(add_file, header=None, names=['SRC_ADDR', 'SRC_BELONG_PROV','SRC_BELONG_PROV'], dtype={'SRC_ADDR': str, 'SRC_BELONG_PROV': str, 'SRC_BRAND': str})(2) 读取后设原创 2020-08-20 10:20:31 · 5104 阅读 · 0 评论 -
request模块访问后台服务并解析(python)
# -*- coding: utf-8 -*-import json, sysimport requestsREQUEST_URL = "http://服务ip:服务端口/matc/idetity/1"HEADER = {'Content-Type':'application/json; charset=utf-8'}def output_msisdn_result(result, output_file): with open(output_file, 'w', encoding="原创 2020-08-06 16:44:32 · 287 阅读 · 0 评论 -
python subprocess调用shell脚本,端口无法关闭(已解决)
参考:import osimport timeimport subprocess try: job_process = subprocess.Popen(args=["test.sh", param1], close_fds=True)except: print 'job_process error' time.sleep(3)try: job_process.terminate() passexcept: print 'error'print原创 2020-07-08 09:22:50 · 569 阅读 · 0 评论 -
关于matplotlib模块常用的可视化功能模块整理
为了让人更加清晰深入的了解数据,在数据分析中经常会涉及到数据可视化操作,之前就是用到了随便网上找找,并没有形成一个完整的概念,现在利用少有的时间整理一下数据可视化常用的工具。箱型图data = np.random.normal(size=(100, 4), loc=0.0, scale=1.0)labels = ['A','B','C','D']plt.boxplot(data, labels=labels)plt.show()能力分布图plt.style.use('ggplot')#原创 2020-06-06 14:23:43 · 496 阅读 · 0 评论 -
shell+python解析.json文件
sample.json{ "secondJudgeRuleId": "202002171519149514,202002171521006374,202002171523189362", "ruleCategory": 1, "optUser": "admin", "requestFilePath": "/home1/test", "ruleStatus": 1, "algolId": "1101", "providerId": 1, "ruleDesc": "规则A",原创 2020-06-04 15:52:07 · 1828 阅读 · 0 评论 -
windows10 anaconda配置代理
修改文件: C:\Users\USER.condarcchannels: - http://mirrors.ustc.edu.cn/anaconda/pkgs/free/ - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/show_channel_urls: trueallow_other_ch原创 2020-05-28 15:10:25 · 3809 阅读 · 0 评论 -
pandas dataframe 行条件处理
dataframe.ix[dataframe['原始结果'].str.contains('已处置'), ['处置结果']] = '处置'原创 2020-05-26 10:42:56 · 287 阅读 · 1 评论 -
对图片md5加密实现
import org.apache.commons.io.FileUtils;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.math.BigInteger;import java.nio.MappedByteBuffer;import java.nio.channels.FileChan原创 2020-05-21 16:52:31 · 1915 阅读 · 1 评论 -
python 连接 oracle及mysql
# coding:utf-8 from sqlalchemy import create_engine import os os.environ['NLS_LANG']= '.AL32UTF8' #数据库连接 db = create_engine('oracle://username:password@ip_address:port/databasename') conn = db...原创 2020-05-07 15:14:14 · 161 阅读 · 1 评论 -
python实现:json文件、csv文件和.ini文件互转
from configparser import ConfigParserimport jsondef json2csv(json_path, csv_path): """ :param json_path: json文件路径 :param csv_path: csv路径 :return: json文件转变成csv """ with open(...原创 2020-02-28 13:59:00 · 1560 阅读 · 1 评论