排序:
默认
按更新时间
按访问量

坑惨了!flink执行sql语句时,出现com.mysql.jdbc.MysqlDataTruncation: Data truncation: Truncated incorrect DOUBLE

出现错误! Data truncation: Truncated incorrect DOUBLE value: '2018-10-18 19:21:47' Flink操作mysql数据库对数据进行更新时。 原始sql语句: update t_lianlu_utilization_ala...

2018-10-18 19:55:23

阅读数:2

评论数:0

python 在一定时间段获取kafka数据

from pykafka import KafkaClient from pykafka.common import OffsetType import datetime def KafkaDownloader(host_, topic_, group_id_): client = K...

2018-10-09 18:58:58

阅读数:24

评论数:0

python操作kafka

1、查看kafka集群中所有的topic from pykafka import KafkaClient client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092...

2018-09-27 17:32:16

阅读数:30

评论数:0

pykafka 中的broker判断kafka集群的所有ip,topic,

from pykafka import KafkaClient client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092") # client ...

2018-09-27 17:23:28

阅读数:26

评论数:0

es 分片出现unsigned的解决办法

每天查看ES集群各节点状态(依次点击Montoring->Nodes)   之后出现下图           出现unsigned 也可以通过GET _cat/indices 查看unsigned 所在节点           查找分片在那个节点上       ...

2018-09-25 23:30:00

阅读数:46

评论数:0

shell 常用命令

1、查找文件中某个字符串,并显示该字符串所在行号 cat airflow.cfg | grep  -n 'Log format' 2、带行号查看文件内容 cat -n airflow.cfg  3、

2018-09-13 15:00:58

阅读数:17

评论数:0

本地数据写入mysql

""" 本地数据写入mysql """ import pymysql def connect(): """ 连接m...

2018-09-13 13:13:57

阅读数:24

评论数:0

获取时间戳及转化为yyyyMMdd格式的时间

1、获取当前时间戳两种方法:  System.currentTimeMillis();  #1536764057392  微秒  new Date().getTime();  #1536764057392  微秒 2、时间戳转化为yyyyMMdd格式时间 SimpleDateForma...

2018-09-12 22:39:24

阅读数:120

评论数:0

IDEA 打包Flink代码流程

IDEA打包flink代码流程 1、点击图中红色方框 2、点击图标+,再点击Maven   3、(1)在Name后添加工程名,(2)Working directory 中选择项目的工程路径:D:\Code\Hydrogen\etl.worker.stbalarm (根据自己的工程选择...

2018-09-12 21:12:34

阅读数:62

评论数:0

excel实现一列或者一行数据递增

1、数据量比较少,或者对excel中已有数据进行编号,采用如下方式 在某一列或者一行的前两格输入1、2,之后选中1、2数据,待变为+号,鼠标连着左击两下。 2、对数据量比较大的情况,采用如下方式进行编号 在某一列或者一行的前一格输入1,之后找到开始->填充-&a...

2018-09-12 19:55:59

阅读数:44

评论数:0

python 查看kafka发送的消息格式及消息内容

from pykafka import KafkaClient client = KafkaClient(hosts="10.37.22.176:9092") topic = client.topics[b'rtz_am_queue'] #topic名...

2018-09-03 22:49:56

阅读数:65

评论数:0

python 操作redis

1、redis分单个redis和集群redis from airflow.contrib.hooks.redis_hook import RedisHook from rediscluster import StrictRedisCluster from sctetl.airflow.cont...

2018-09-03 14:44:27

阅读数:21

评论数:0

python 求value最大的key值

d = {"1": 9, "2": 0, "3": 7, "6": 3, "0": 4, "4&a...

2018-09-02 21:23:05

阅读数:70

评论数:0

Mysql truncate和delete区别

1、truncate不用写日志,delete要写日志,前者的删除效率要高于后者,前者是整体删除后者是逐句删除 2、删除语句比较 清空表 truncate table table_name; 清空表 delete * from table_name; 3、truncate 是自增列的值会从1...

2018-09-02 21:12:56

阅读数:13

评论数:0

es 数据类型keyword和text区别

keyword类型可以进行排序和聚合、检索过滤 text类型可以不能够进行排序和聚合  

2018-08-28 22:02:45

阅读数:45

评论数:0

es重命名索引

from elasticsearch import Elasticsearch from elasticsearch import helpers es = Elasticsearch(hosts="0.0.0.0:9200") source_index ...

2018-08-28 21:59:33

阅读数:512

评论数:0

python 实现保存最新的三份文件,其余删掉

""" 对于每天存储文件,文件数量过多,占用空间 采用保存最新的三个文件 """ from airflow import DAG from airflow.operators.python...

2018-08-28 21:52:40

阅读数:54

评论数:0

批量插入mysql数据库

def _write(self): rows = [] while True: row = self._queue.get() if row is None: break rows.append(row) ...

2018-08-28 17:14:32

阅读数:30

评论数:0

IPython 常用操作

IPython使用 1、%run %run python源程序 #运行python源程序 2、%timeit 和 %time %timeit是多次执行代码的平均时间,%time是一次执行代码的总时间 3、%cpaste %cpaste是粘贴命令,使用--结束粘贴,显示结果 4、%paste %p...

2018-08-28 00:26:51

阅读数:40

评论数:0

计数器(每次调用函数增1)

a = 0 def CounterA(): def f(): global a a = a + 1 return a return f s = [0] def CounterB(): def f(): s...

2018-08-25 13:26:37

阅读数:85

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭