2019年03月_sxf_0123

12月 10月 08月 07月 04月 03月 02月 01月

原创 python 自动识别文件编码格式，并将原文件编码格式转化为utf-8格式

"""自动识别文本编码格式"""import chardetdef detectCode(path): with open(path, 'rb') as file: data = file.read(20000) dicts = chardet.detect(data) return dicts["encoding"]def p...

2019-03-21 15:22:02 4664

原创 python 操作多线程和多进程

"""python 标准模块，提供ProcessPoolExecutor 进程异步调用ThreadPoolExecutor 线程异步调用"""from concurrent.futures.process import ProcessPoolExecutorfrom concurrent.futures.thread import ThreadPoolExecutorimport t...

2019-03-20 22:15:49 186

原创快速取出ES索引中该索引所有字段名称

# 快速取出ES索引中该索引所有字段名称# 1、通过命令 GET 索引名称/_mapping 获取该索引所有字段信息# 2、取出"properties"中所有字段，如test_dict中# 3、通过test_dict.keys()获取所有字段值# 4、转化为list, list(test_dict.keys()),输出结果可以直接用于获取数据的所有字段test_dict = { ...

2019-03-20 14:33:24 12616 1

原创 python 通过stomp操作ActiveMQ

windows 下,在cmd 命令下执行 pip install stomp.py 安装stomp# -*-coding:utf-8-*-import stompimport timetopic_name = 'test_topic'listener_name = 'SampleListene'mq_ip = "1.0.0.1"mq_port = 61613class Sa...

2019-03-19 16:58:01 1415

原创 python 对存在认证(用户名和密码)的kafka数据进行消费

from kafka import KafkaConsumerfrom datetime import datetime, timedeltafrom confluent_kafka import Consumerimport timetopic_name = 'apk_with_receivetime'f_w = open("/data/test/data_dir/consume...

2019-03-18 10:23:44 5356

转载 win 10 连接远程桌面出现身份验证错误，要求的函数不正确的解决办法

win 10 教育版和家庭版的解决方案:1、使用 windows+R 命令打开运行，之后输入regedit 打开注册表依次打开路径计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters 注意: 如果 \CredSSP...

2019-03-18 10:07:46 809

原创 python 往mysql中批量插入数据

1、可以批量插入[(value1,value2),(value3,value4)] 列表中是元组类型2、可以批量插入[[value1,value2],[value3,value4]] 列表中是列表类型fields = ['a', 'b']sql = "insert into test2 ({fields}) values ({mark})".format( fields='...

2019-03-15 18:14:23 1115

原创 python 实现当大于本周五取本周五的日期，小于本周五取上周五的日期

import calendar from datetime import datetime, timedelta while True: today = input("输入今天日期(月日)") today_date = datetime.strptime(today, "%Y%m%d") if today_date.week...

2019-03-15 17:23:51 1951

翻译 python 对值打包和解包

reslt = {}reslt['1'] = [1, 2]reslt['2'] = [2, 3]pickle.dump(reslt, open('test.rst', 'wb'))result = pickle.load(open("test.rst", "rb"))print(result)

2019-03-15 17:06:18 337

原创 ES 查询一个字段的值小于另一个字段的值

查询语句: "query": { "bool": { "must": [ { "script": { "script": { "inline": "doc['fieldA'].v...

2019-03-15 15:07:35 4326

原创 linux 下sftp 登录ftp服务器并下载文件

1、使用sftp命令登录到ftp 服务器sftp -oport=端口用户名@ftp服务器之后出现输入ftp密码，2、使用 get 命令从 ftp服务器上将文件下载到本地get ftp服务器上文件本地路径...

2019-03-13 20:00:21 3007

原创 mysql 批量查询

sql = "SELECT area_id,area_name FROM `t_area_info` WHERE area_id IN ({mark})".format( mark=','.join(["%s"] * 1000))with conn.cursor() as cursor: new_sql = sql % tuple(value_list) #需要将v...

2019-03-09 15:00:29 1470 1

原创 airlfow 三种操作mysql 获取数据方式

#!/usr/bin/env python# -*- coding: utf-8 -*-"""airflow 操作mysql 数据库获取数据的三种方式"""from airflow.hooks.mysql_hook import MySqlHookfrom airflow.hooks.dbapi_hook import DbApiHookdef get_DaApi_data()...

2019-03-06 15:31:22 3203