![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
二两芝麻
忧郁是看脸的,我们这样的,最多是心里不得劲,哎,心里不嘚劲啊
展开
-
python写入csv文件
with codecs.open(filename=’C:\Users\zhudong\Downloads\’ + table_name + ‘.csv’ , mode=’w’, encoding=’utf-8’) as f: write = csv.writer(f, dialect=’excel’) results = cur.fetchall() for re...原创 2018-08-20 15:35:56 · 192 阅读 · 0 评论 -
python 爬取链家南京的数据
spider代码-- coding: utf-8 --import scrapy from lxml import etree import time import random import requests from ..items import LianjiananjingItem class LianjiananjingSpider(scrapy.Spider): ...原创 2018-08-20 15:30:40 · 684 阅读 · 0 评论 -
python 爬取,selenium
import time from selenium import webdriver import os import csv import datetimedriver = webdriver.Chrome(executable_path=r’C:\Python35\chromedriver.exe’)获取时间today = datetime.date.today() ...原创 2018-08-15 12:26:08 · 189 阅读 · 0 评论 -
python 报错 'gbk' codec can't encode character '\xb5' in position 7431: illegal multib
将代码放在cmd中执行时,报错 ‘gbk’ codec can’t encode character ‘\xb5’ in position 7431: illegal multib原因:在windows下面,新文件的默认编码是gbk,这样的话,python解释器会用gbk编码去解析我们的网络数据流txt,然而txt此时已经是decode过的unicode编码,这样的话就会导致解析不了erro...原创 2019-01-23 14:13:24 · 3689 阅读 · 0 评论 -
使用python 获取mysql数据 并生成hive建表语句
使用python 获取mysql数据 并生成hive建表语句# -*- coding: utf-8 -*-import sysreload(sys) sys.setdefaultencoding('utf-8')import refrom collections import defaultdictimport MySQLdbimport pandas as pdengine=...原创 2019-07-09 09:40:52 · 1632 阅读 · 0 评论 -
利用python的图形界面实现一些小工具
-- coding:utf-8 --import easygui as g import sys import datetime import uuid import socket1、首先弹出选择用户(例如:zhudong,chenhao)的下拉框选项2、执行脚本的需求/原因3、需要执行的脚本nowTime=datetime.datetime.now().s...原创 2018-08-24 17:15:52 · 3737 阅读 · 0 评论 -
使用lxml和requests获取azkaban登陆后的页面,并且获取其调度错误的数据,写入excel中
import requestsfrom lxml import etree# 创建 session 对象。这个对象会保存所有的登录会话请求。session_requests = requests.session()login_url = "http://10.1.2.42:8081/"formdata = { 'action': 'login','username': 'azkaban...原创 2018-08-28 14:28:07 · 199 阅读 · 0 评论 -
pyhon通过读取excel的表结构数据,形成建表语句
excel中需要包含:第一列为字段名称,第二列为字段类型,第三列为字段长度,第四列为是否为主键利用Y/N区分import xlrdimport osdef convert_type(data_type): """Normalize MySQL `data_type`""" if 'CHAR' == data_type: return 'varchar' ...原创 2018-10-12 11:27:35 · 1976 阅读 · 1 评论 -
python通过下载链接可以下载成excel,直接将数据写入数据库中
from urllib.request import urlopenimport sysimport datetimeimport psycopg2import os# 用来操作数据库的类class GPCommand(object): # 类的初始化 def __init__(self): self.hostname = 'XXXXXXXXX' ...原创 2018-10-12 13:27:29 · 2402 阅读 · 0 评论 -
将mysql数据库的建表语句修改成green plum数据库中可执行的脚本
#用来获取输入的对应的表名称的建表语句#首先输入需要获取的mysql或者sql server的数据库表名称,到对应的数据库中抓出建表语句,#然后,将建表语句进行对应的修改,形成可以在pg中可用的语句#连接mysql数据import pymysqlimport sysimport reclass MysqlDB: def __init__(self): se...原创 2018-09-28 11:49:06 · 408 阅读 · 0 评论 -
python3读取excel中的数据
import xlrdimport ospaths = [r'C:/Users/zhudong/Desktop/azkaban自动爬取/']for path in paths: for filename in os.listdir(path): exname = filename.split('.') if exname[-1] == 'xlsx':...原创 2018-09-29 10:32:54 · 666 阅读 · 0 评论 -
python3 ks检验 求平均值方差标准差中位数 dataframe使用engine写入数据库 pandas使用
需求是这样的:将两个数据集进行ks检验,算中位数方差标准差等数据,最后输出到数据库中import psycopg2import osimport pandas as pdfrom scipy.stats import ks_2sampimport numpy as npfrom sqlalchemy import create_engine# 用来操作数据库的类class GPCo...原创 2018-10-17 09:43:29 · 2054 阅读 · 0 评论 -
PYTHON 写日志的分割方案
import loggingimport osimport datetime#写日志logging.basicConfig(filename=os.path.join(os.getcwd(), ‘log.txt’), level=logging.WARN, filemode=‘w’,format=’%(asctime)s - %(levelname)s: %(message)s’)d...原创 2018-12-04 08:46:22 · 671 阅读 · 0 评论 -
python3 从kafka获取数据,并解析为json格式,写入到mysql中
项目需求:将kafka解析来的日志获取到数据库的变更记录,按照订单的级别和订单明细级别写入数据库,一条订单的所有信息包括各种维度信息均保存在一条json中,写入mysql5.7中。配置信息:[Global]kafka_server=xxxxxxxxxxx:9092kafka_topic=mesconsumer_group=test100passwd = trackingport = ...原创 2018-12-29 08:56:44 · 5989 阅读 · 0 评论 -
django学习
1、创建projectpython django-admin.py startproject DjangoDemo如果这个不可以的话,执行python C:\Python35\Scripts\django-admin.py startproject DjangoDemo 将python的scripts目录加上执行创建project任务2、切换到project任务的目录中,执行python ma...原创 2019-01-07 15:05:26 · 157 阅读 · 0 评论 -
利用selenium获取cookies后,使用requests登陆获取页面
import time from selenium import webdriver import requests from lxml import html from lxml import etree import pickle def getcookies(): driver = webdriver.Chrome(executable_path=r’C:\Python...原创 2018-08-31 10:25:57 · 623 阅读 · 0 评论 -
python写入excel数据
import xlsxwriter import datetime today = datetime.date.today() str_day = today.strftime(“%Y-%m-%d”) path_date = ‘C:\Users\zhudong\Desktop\azkaban自动爬取\’+str_day+’.xlsx’建立文件workbook = xlsxwri...原创 2018-08-30 11:59:48 · 304 阅读 · 0 评论 -
python连接各种数据库的类方法
连接postgresql数据库import psycopg2# 用来操作数据库的类class GPCommand(object): # 类的初始化 def __init__(self): self.hostname = '10.1.2.xx' self.username = 'xxx' self.password = 'xxx' ...原创 2018-10-12 11:11:43 · 1589 阅读 · 0 评论