- 博客(17)
- 收藏
- 关注
RSS订阅原创 oracle 的insert操作
oracle的insert操作 import threading import time import cx_Oracle import random ''' 前提：在oracle中设置主键字段自增 ''' def try_to_connect_and_insert(): username="source_db" userpwd="gpadmin" host="*.*.*.*" port=1521 dbname="or.
2020-06-04 16:25:27
590
原创 python 操作es 定义函数，先读后写
from elasticsearch import Elasticsearch from elasticsearch import helpers import datetime from ES import setting import time #定义es链接 def conn_to_es(): client = Elasticsearch(hosts=["http://{0...
2020-04-17 17:33:28
320
原创 记录下我的垃圾代码吧！以后再完善
主要实现功能：读取配置文件中的json文件，生成数据列表，对所有的数据列表进行post请求 import json import os import requests #字段替换 def check_json_value(dic_json,k,v): if isinstance(dic_json,dict): for key in dic_json: ...
2019-12-09 18:21:40
121
原创 linux小知识
1.查看linux系统的基本信息。 man uname uname -a Linux bigdata-yace09 2.6.32-696.el6.x86_64 #1 SMP Tue Mar 21 19:29:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux 2.ifconfig设置网卡信息 ifconfigeth0mtu1500设置能通过的最大...
2019-11-15 17:03:21
73
原创 iptraf使用-linux 统计上下行流量
1.查看是否安装成功：yum list installed iptraf 2.查看帮助信息：iptraf -h 3.查看有几块网卡：ip a 4.查看某个网卡的traffic监控：iptraf -i eth0 5.查看详细的网络信息，可以查看Incoming和Outgoing的带宽信息：iptraf -d eth0 6.查看tcp和udp的监控：iptraf -s eth0 7.查看...
2019-11-15 16:18:11
802
原创 hive-创建表
使用shell脚本： #!/bin/bash #遍历文件夹下的所有文件 dir1=`ls /data/service/bigdata/cloud_platform/sql/origin/*.sql` dir2=`ls /data/service/bigdata/cloud_platform/sql/width/*.sql` #将所有的sql进行初始化，合并dir1和dir2中的文件追加到数...
2019-11-09 17:12:06
128
转载 vim中的查找和替换
vi/vim 中可以使用 :s 命令来替换字符串。以前只会使用一种格式来全文替换，今天发现该命令有很多种写法(vi 真是强大啊，还有很多需要学习)，记录几种在此，方便以后查询。 :s/vivian/sky/ 替换当前行第一个 vivian 为 sky :s/vivian/sky/g 替换当前行所有 vivian 为 sky :n,$s/vivian/sky/ 替换第 n 行开始到最后一行中...
2019-11-07 15:38:53
371
原创 filebeat 配置模拟采集日志信息发送到kafka
filebeat.yaml filebeat.prospectors: - type: log enabled: true paths: - /data/service/bigdata/cloud_platform/log/saas_auth_service-core-device-data-point-kv.log fields_under_root: true #...
2019-11-07 15:22:38
1368
原创 python操作es
from elasticsearch import Elasticsearch from elasticsearch import helpers es=Elasticsearch('bigdata-yace08:9200') ''' #创建索引 mappings={ "mappings":{ "data": { "properties": {...
2019-11-01 15:26:12
603
原创 python操作kafka
一、发送json数据 生产者 # -*- coding: UTF-8 -*- import thread from kafka import KafkaProducer import json producer = KafkaProducer(bootstrap_servers='bigdata-test02:6667',value_serializer=lambdav: json....
2019-11-01 15:24:48
167
原创 python函数-学习笔记
def 函数名，小括号，参数，冒号，缩进函数体 空函数：(pass可以作为占位符，比如还没有想好怎么写函数的代码，可以放pass让代码运行起来) def pop(): pass 参数检查： def my_abs(x): if not isinstance(x,(int,float)): raise TypeError('bad operand type') ...
2019-09-27 18:49:18
89
原创 python基础
str是不可变的对象，list是可变的对象，set和dict的key也是不可变的对象 一、list和tuple 基本用法 数组 list1=[1,2,3,["a","b"],"c"] 追加数据到数组末尾list1.append("d")-------[1,2,3,["a","b"],"c","d"] 插入数据到数组的第二个元素list1.insert(1,0)-------------...
2019-09-27 15:33:50
89
原创 python3-ConfigParser让配置文件生效
INI文件由节、键、值组成。格式如下： 例如： [section] name=value name:value 注解使用分号表示（;）。在分号后面的文字，直到该行结尾都全部为注解。 configparser模块含有configparser类，主要包含三个模块：RawConfigParser()，ConfigParser()、SafeConfigParse()这三个方法（三选一），创建一...
2019-08-29 16:54:45
250
原创 python-将所有的json文件写入到yaml
实现功能，将文件夹下所有的json文件读取，并按规定的格式写入到另外一个文件中，生成yaml文件。 后期可能还需要完善。 import json import os from ruamel import yaml def change_yaml(): #读取文件夹下的文件 dir1=os.listdir() # print(os.listdir()) di...
2019-08-28 18:28:19
2343
原创 python写入yaml
python写json数据到文件，f.write(json.dumps(jsondata,indent=4)) indent格式化的json 终于整出来了，私藏。 import json from ruamel import yaml class Dag: def __init__(self): self.case_suite="xy_datasource_sink_...
2019-08-28 18:21:21
2214
原创 java-RequestMapping
RequestMapping是一个用来处理请求地址映射的注解，可用于类或方法上。用于类上，表示类中的所有响应请求的方法都是以该地址作为父路径。 @RequestMapping 除了修饰方法, 还可来修饰类 ： 类定义处: 提供初步的请求映射信息。相对于 WEB 应用的根目录； 方法处: 提供进一步的细分映射信息。 相对于类定义处的 URL。 若类定义处未标注 @RequestMapping...
2018-06-19 18:00:35
685
原创 spring的bean的注入
Spring容器成功启动的三大要件分别是：Bean定义信息、Bean实现类以及Spring本身。如果采用基于XML的配置，Bean定义信息和Bean实现类本身是分离的，而采用基于注解的配置方式时，Bean定义信息即通过在Bean实现类上标注注解实现。 @Component("userDao") 效果等同于：<bean id="userDao" class="com.baobao...
2018-06-19 15:48:20
336
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人