dys_gc-CSDN博客

原创 oracle 的insert操作

oracle的insert操作import threadingimport timeimport cx_Oracleimport random'''前提：在oracle中设置主键字段自增'''def try_to_connect_and_insert(): username="source_db" userpwd="gpadmin" host="*.*.*.*" port=1521 dbname="or.

2020-06-04 16:25:27 593

原创 python 操作es 定义函数，先读后写

from elasticsearch import Elasticsearchfrom elasticsearch import helpersimport datetimefrom ES import settingimport time#定义es链接def conn_to_es(): client = Elasticsearch(hosts=["http://{0...

2020-04-17 17:33:28 325

原创记录下我的垃圾代码吧！以后再完善

主要实现功能：读取配置文件中的json文件，生成数据列表，对所有的数据列表进行post请求import jsonimport osimport requests#字段替换def check_json_value(dic_json,k,v): if isinstance(dic_json,dict): for key in dic_json: ...

2019-12-09 18:21:40 125

原创 linux小知识

1.查看linux系统的基本信息。 man unameuname -aLinux bigdata-yace09 2.6.32-696.el6.x86_64 #1 SMP Tue Mar 21 19:29:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux2.ifconfig设置网卡信息ifconfigeth0mtu1500设置能通过的最大...

2019-11-15 17:03:21 75

原创 iptraf使用-linux 统计上下行流量

1.查看是否安装成功：yum list installed iptraf2.查看帮助信息：iptraf -h3.查看有几块网卡：ip a4.查看某个网卡的traffic监控：iptraf -i eth05.查看详细的网络信息，可以查看Incoming和Outgoing的带宽信息：iptraf -d eth06.查看tcp和udp的监控：iptraf -s eth07.查看...

2019-11-15 16:18:11 827

原创 hive-创建表

使用shell脚本：#!/bin/bash#遍历文件夹下的所有文件dir1=`ls /data/service/bigdata/cloud_platform/sql/origin/*.sql`dir2=`ls /data/service/bigdata/cloud_platform/sql/width/*.sql`#将所有的sql进行初始化，合并dir1和dir2中的文件追加到数...

2019-11-09 17:12:06 130

转载 vim中的查找和替换

vi/vim 中可以使用 :s 命令来替换字符串。以前只会使用一种格式来全文替换，今天发现该命令有很多种写法(vi 真是强大啊，还有很多需要学习)，记录几种在此，方便以后查询。:s/vivian/sky/ 替换当前行第一个 vivian 为 sky　　:s/vivian/sky/g 替换当前行所有 vivian 为 sky　　:n,$s/vivian/sky/ 替换第 n 行开始到最后一行中...

2019-11-07 15:38:53 372

原创 filebeat 配置模拟采集日志信息发送到kafka

filebeat.yamlfilebeat.prospectors:- type: log enabled: true paths: - /data/service/bigdata/cloud_platform/log/saas_auth_service-core-device-data-point-kv.log fields_under_root: true#...

2019-11-07 15:22:38 1371

原创 python操作es

from elasticsearch import Elasticsearchfrom elasticsearch import helperses=Elasticsearch('bigdata-yace08:9200')'''#创建索引mappings={ "mappings":{ "data": { "properties": {...

2019-11-01 15:26:12 606

原创 python操作kafka

一、发送json数据生产者# -*- coding: UTF-8 -*-import threadfrom kafka import KafkaProducerimport jsonproducer = KafkaProducer(bootstrap_servers='bigdata-test02:6667',value_serializer=lambdav: json....

2019-11-01 15:24:48 171

原创 python函数-学习笔记

def 函数名，小括号，参数，冒号，缩进函数体空函数：(pass可以作为占位符，比如还没有想好怎么写函数的代码，可以放pass让代码运行起来)def pop(): pass参数检查：def my_abs(x): if not isinstance(x,(int,float)): raise TypeError('bad operand type')...

2019-09-27 18:49:18 91

原创 python基础

str是不可变的对象，list是可变的对象，set和dict的key也是不可变的对象一、list和tuple基本用法数组list1=[1,2,3,["a","b"],"c"] 追加数据到数组末尾list1.append("d")-------[1,2,3,["a","b"],"c","d"] 插入数据到数组的第二个元素list1.insert(1,0)-------------...

2019-09-27 15:33:50 90

原创 python3-ConfigParser让配置文件生效

INI文件由节、键、值组成。格式如下：例如：[section]name=valuename:value注解使用分号表示（;）。在分号后面的文字，直到该行结尾都全部为注解。configparser模块含有configparser类，主要包含三个模块：RawConfigParser()，ConfigParser()、SafeConfigParse()这三个方法（三选一），创建一...

2019-08-29 16:54:45 253

原创 python-将所有的json文件写入到yaml

实现功能，将文件夹下所有的json文件读取，并按规定的格式写入到另外一个文件中，生成yaml文件。后期可能还需要完善。import jsonimport osfrom ruamel import yamldef change_yaml(): #读取文件夹下的文件 dir1=os.listdir() # print(os.listdir()) di...

2019-08-28 18:28:19 2355

原创 python写入yaml

python写json数据到文件，f.write(json.dumps(jsondata,indent=4))indent格式化的json终于整出来了，私藏。import jsonfrom ruamel import yamlclass Dag: def __init__(self): self.case_suite="xy_datasource_sink_...

2019-08-28 18:21:21 2215

原创 java-RequestMapping

RequestMapping是一个用来处理请求地址映射的注解，可用于类或方法上。用于类上，表示类中的所有响应请求的方法都是以该地址作为父路径。@RequestMapping 除了修饰方法, 还可来修饰类：类定义处: 提供初步的请求映射信息。相对于 WEB 应用的根目录；方法处: 提供进一步的细分映射信息。相对于类定义处的 URL。若类定义处未标注 @RequestMapping...

2018-06-19 18:00:35 693

原创 spring的bean的注入

Spring容器成功启动的三大要件分别是：Bean定义信息、Bean实现类以及Spring本身。如果采用基于XML的配置，Bean定义信息和Bean实现类本身是分离的，而采用基于注解的配置方式时，Bean定义信息即通过在Bean实现类上标注注解实现。@Component("userDao")效果等同于：<bean id="userDao" class="com.baobao...

2018-06-19 15:48:20 339

dys_gc的博客