2018年09月_sxf_0123

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 python操作kafka

1、查看kafka集群中所有的topicfrom pykafka import KafkaClientclient = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092")print(client.topics) #查找kafka集群中所有的topic# {b'r_queue': N...

2018-09-27 17:32:16 488

原创 pykafka 中的broker判断kafka集群的所有ip,topic,

from pykafka import KafkaClientclient = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7.2.15:9092")# client = KafkaClient(hosts="13.3.0.0:9092,1.3.2.17:9092,13.7.2.94:9092,13.7....

2018-09-27 17:23:28 2118

转载 es 查询方法

切记，第一手资料很重要！Elasticsearch出现问题，最高效的解决方案是第一手资料ES英文官网文档，其次是ES英文论坛、ES github issues，再次是stackoverflow等英文论坛、博客。最后才是：Elasticsearch中文社区、其他相关中文技术博客等。因为：所有的论坛、博客文字都是基于ES英文官方文档再整理，难免有缺失或错误。3）自己的Elasticsea...

2018-09-25 23:38:29 963 1

原创 es 分片出现unsigned的解决办法

每天查看ES集群各节点状态(依次点击Montoring->Nodes)之后出现下图出现unsigned 也可以通过GET _cat/indices 查看unsigned 所在节点查找分片在那个节点上找到unsigned的节点解决办法POST _cluster/reroute{...

2018-09-25 23:30:00 4372

转载获取mysql下所有表

select table_name from information_schema.TABLES where TABLE_SCEMA='db_name';infromation_schema是数据库系统用来保存数据表的总表

2018-09-25 23:16:36 2841

原创 shell 常用命令

1、查找文件中某个字符串，并显示该字符串所在行号cat airflow.cfg | grep -n 'Log format'2、带行号查看文件内容cat -n airflow.cfg 3、

2018-09-13 15:00:58 112

原创本地数据写入mysql

"""本地数据写入mysql"""import pymysqldef connect(): """ 连接mysql数据库 :return: """ conn = pymysql.connect(host="127.0.0.1", port=15506, user=

2018-09-13 13:13:57 314

原创获取时间戳及转化为yyyyMMdd格式的时间

1、获取当前时间戳两种方法: System.currentTimeMillis(); #1536764057392 微秒 new Date().getTime(); #1536764057392 微秒2、时间戳转化为yyyyMMdd格式时间 SimpleDateFormat df = new SimpleDateFormat("yyyyMMdd HH:mm:ss");S...

2018-09-12 22:39:24 27621 2

原创 IDEA 打包Flink代码流程

IDEA打包flink代码流程1、点击图中红色方框2、点击图标+,再点击Maven 3、(1)在Name后添加工程名，(2)Working directory 中选择项目的工程路径：D:\Code\Hydrogen\etl.worker.stbalarm (根据自己的工程选择) (3)在Command line 中输入打包命令clean package -Pbuild-jar...

2018-09-12 21:12:34 4897 1

原创 excel实现一列或者一行数据递增

1、数据量比较少，或者对excel中已有数据进行编号，采用如下方式在某一列或者一行的前两格输入1、2，之后选中1、2数据，待变为+号，鼠标连着左击两下。2、对数据量比较大的情况，采用如下方式进行编号在某一列或者一行的前一格输入1，之后找到开始->填充->序列-> 选择行或列->选择等差数列->最后填入终止值 ...

2018-09-12 19:55:59 18753 1

原创 python 查看kafka发送的消息格式及消息内容

from pykafka import KafkaClientclient = KafkaClient(hosts="10.37.22.176:9092")topic = client.topics[b'rtz_am_queue'] #topic名称consumer = topic.get_simple_consumer()for record in consumer: ...

2018-09-03 22:49:56 2349

原创 python 操作redis

1、redis分单个redis和集群redisfrom airflow.contrib.hooks.redis_hook import RedisHookfrom rediscluster import StrictRedisClusterfrom sctetl.airflow.contrib.hooks.es_hook import ElasticsearchHookfrom que...

2018-09-03 14:44:27 349

原创 python 求value最大的key值

d = {"1": 9, "2": 0, "3": 7, "6": 3, "0": 4, "4": 1}value_1 = max(d, key=d.get)print(value_1)value_2 = max(d,key=lambda x:d[x])print(value_2)value_3 =sorted(d,key=lambda x:d[x])[-1]print(v

2018-09-02 21:23:05 5914

原创 Mysql truncate和delete区别

1、truncate不用写日志，delete要写日志，前者的删除效率要高于后者,前者是整体删除后者是逐句删除2、删除语句比较清空表 truncate table table_name;清空表 delete * from table_name;3、truncate 是自增列的值会从1开始，而delete是从删除那条记录的ID+1开始4、truncate是删除所有数据，而delet...

2018-09-02 21:12:56 1795 1