其他问题.记录
问题记录(Record):生产问题解决思路
韩SONGYOU
数据分析/数据挖掘 技术分享
展开
-
常用脚本:ip地址地理位置查询(LocationQueryFunctions.py)
说明API详情网址:https://ip-api.com/docs/api:json封装了请求超时和次数控制,请求结果整理等方式。代码# -*- coding: utf-8 -*-''' @File : LocationQueryFunction.py @Descriptions: IP地址地理位置解析函数 @Author : Songyou Han @Created on : 2020/10/21 17:07 '''import Include.Functions.Functi原创 2020-12-30 16:55:55 · 250 阅读 · 0 评论 -
常用脚本:request请求结果处理函数(GetRequestsFunctions.py)
说明封装requests请求函数,包括异常处理及超时超次设置。代码# -*- coding: utf-8 -*-''' @Time : 2020/10/21 10:35 @Author : Songyou Han @File : UrlRequestsFunctions.py @Description : url请求及数据提取函数 @Software: PyCharm'''import requestsimport timeimport jsonclass GetRe原创 2020-12-30 15:18:14 · 269 阅读 · 0 评论 -
常用脚本:数据库使用函数(DatabaseFunctions.py)
说明将数据库连接传入封装的数据库执行函数类,封装异常处理及数据整理过程,以字典列表形式返回结果,方便索引和使用代码参数说明:class databaseConn:(conn,cursor,databasename)# -*- coding: utf-8 -*-''' @File : DatabaseFunctions.py @Descriptions: 数据库自封装函数: ⚪执行SQL语句(返回状态值): execute_sql(databaseConn, sql原创 2020-12-30 14:20:48 · 197 阅读 · 0 评论 -
常用脚本:快速连接数据库工具(DatabaseClass.py)
说明公司的常用数据库,为了避免避免重复书写跳板机连入方式,以及开启关闭等脚本,编写成快捷的连接类。脚本# 常用数据库连接类class xxxxDatabaseConn: # 初始化并开启数据库连接 def __init__(self, choice_host:str, database='undefined'): print("初始化:xxxxDatabaseConn:对象 '{host}.{databasename}'".format(host = choice_h原创 2020-12-30 11:52:01 · 237 阅读 · 0 评论 -
OperationalError: (2013, ‘Lost connection to MySQL server during query‘)
索引错误原因解决方法错误原因MySQL持久化链接保持时间为8小时(28800秒),过期后断开连。如果数据库没有新建连接,则会报此错。解决方法class DataBase(): """数据库类""" def __init__(self, host='localhost', user='root', pw='password', db='test'): self.con = pymysql.connect(host, user, pw, db) self原创 2020-09-25 10:32:46 · 403 阅读 · 0 评论 -
数据清洗:提取爬虫文本中的电话号码(Python)
步骤索引效果展示注意事项代码效果展示原始数据清洗数据注意事项每个号码前面带‘+’,而原始文本中有些号码带Fax前缀,为传真号码,需要剔除掉剔除方法首先将文本全部转换为小写,再将’ fax’(注意fax前有空格)转换成’ Fax’,则只要遇到大写F就说明紧接着的号码是传真号码。接下来我们设置一个传真标志FaxFlg,默认值:0,遍历所有字符,一旦遇到了’F’,就将标志打开,表示下一个遇到的‘+’后面的号码我们需要舍弃掉,舍弃后又重新见FaxFlg设为0,继续遍历。代码#原创 2020-08-25 15:48:05 · 1801 阅读 · 0 评论 -
递归查询:资金源头追溯(Python+SQL)
步骤索引概述代码概述总的来说就是从某一笔交易出发,递归查询资金流出方的资金来源,知道找到源头为止。代码# -*- coding: utf-8 -*-"""Created on Sat Aug 15 16:09:34 2020@author: Songyou Han"""import Tool_Wayki_Database as wkdb #个人工具箱:通过文字指令快速连接特定的数据库import Tool_Sql_List #个人工具箱:SQL仓库,存放常原创 2020-08-15 19:23:04 · 1169 阅读 · 0 评论 -
通过IP地址绘制信息地图(Python+PowerBI+MapBox)
步骤索引①效果展示②获取IP地址解析地理信息Python代码③可视化SQL数据源处理Powerbi地图呈现①效果展示②获取IP地址解析地理信息Python代码在这里插入代码片③可视化SQL数据源处理在这里插入代码片Powerbi地图呈现...原创 2020-08-07 15:39:42 · 1485 阅读 · 0 评论 -
循环统计截至每日历史累计值(Python)
步骤索引SQL准备(计算截至某个日期的数据指标)将SQL嵌入Python代码的循环模式当中SQL准备(计算截至某个日期的数据指标)将日期设定为date <= DATE_FORMAT(DATE_SUB(CURDATE(),INTERVAL %s DAY),’%%Y-%%m-%%d’)即可通过循环修改 %s 实现日期的变更,达到循环统计每一天历史累计值的效果SELECT date ,sum(if(op_type = '行为B',coin_amount,0)) as loan_XXX原创 2020-08-01 12:14:52 · 1213 阅读 · 0 评论 -
爬虫:爬取以太坊区块链浏览器数据
爬取网址 :https://eth.btc.com/home首页(输入代币代号)数据页(点击翻页测试请求)获取到Header URLRequest URL: https://explorer-web.api.btc.com/v1/eth/tokentxns/0x4f878c0852722b0976a955d68b376e4cd4ae99e5?page=2&size=10Request Method: GETStatus Code: 200Remote Address: 18.141原创 2020-07-30 17:22:11 · 5457 阅读 · 1 评论 -
PUTTY:如何使用PUTTY通过跳板机连接Mysql数据库
方法步骤问题:如何使用PUTTY通过私钥从跳板机连接远程Mysql数据库Session ——>填写跳板机地址/端口SSH--Auth:填写私钥本地存放地址SSH--Tunnels:填写通道信息问题:如何使用PUTTY通过私钥从跳板机连接远程Mysql数据库Session ——>填写跳板机地址/端口SSH–Auth:填写私钥本地存放地址SSH–Tunnels:填写通道信息### Connection : 填写定时发送空包时间,用于保持连接...原创 2020-07-03 19:11:50 · 2380 阅读 · 1 评论 -
Powerbi:提高powerbi运行速度 [转载]
From:https://www.sohu.com/a/307969611_584557PowerBI是一个强大的工具,它的大数据处理能力、丰富的可视化对象、便捷的交互体验正在改变越来越多的人查看数据的方式。但同时也有很多人抱怨PowerBI运行速度太慢:打开慢、刷新慢、响应慢,你在使用过程中是不是也有此体会呢?本文就来谈谈如何高效的使用PowerBI,这里的高效,是指当你有一个想法并告诉PowerBI,它能快速响应你的操作,得出期望的结果,而不是漫长的等待。当然导致PowerBI运行速度慢的原因有转载 2020-06-28 16:31:24 · 7935 阅读 · 1 评论 -
KETTLE:数据导入中文乱码解决办法
1、编辑数据库连接2、设置字符集参数characterEncoding = UTF-83、同时需要设置数据库中字段为相应格式4、启动转换原创 2020-05-18 19:51:14 · 2533 阅读 · 0 评论