![](https://img-blog.csdnimg.cn/20190917152059308.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据库
赶在日落之前
夫天地者,万物之逆旅也;光阴者,百代之过客也。而浮生若梦,为欢几何。
展开
-
mysql 字段索引的相关常识
mysql基础原创 2023-01-29 17:15:20 · 277 阅读 · 0 评论 -
mysql去重,根据唯一字段来去重保留任一条
DELETE FROM `gov_departmental_documents` WHERE title IN (SELECT a.title FROM (SELECT title FROM gov_departmental_documents GROUP BY title HAVING COUNT(title) > 1) AS a)AND id NOT IN (SELECT b.aa FROM (SELECT min(id) AS aa FROM gov_depart.原创 2021-07-05 17:24:06 · 394 阅读 · 0 评论 -
mysql load data处理空字符串导入数据库默认变成0的情况
会发生这种情况,一定是字段为int或者float类型,它会把空字符串默认为0,varchar则会还是空字符串解决办法一般为两个:第一个把所有空字符串替换为\N,但这种不现实也很难实现推荐第二个:load data infile 'F:/factor_db/barra_test' into table t_stock_factor_barra fields terminated by '\t' lines terminated by '\r\n' ignore 1 lines(`full_in原创 2020-05-28 15:22:39 · 5289 阅读 · 2 评论 -
解决mysql报错信息1064, You have an error in your SQL syntax
已知mysql的报错信息为:1064, You have an error in your SQL syntax; check the manual that corresponds to your MySQL serverMySQL的1064错误是SQL语句写的有问题时出现的,即SQL的语法错误。那么一定是你的sql语句写的不规范或者写错了,可以看看关键字段是否有什么问题(与mysql自带字段冲突等),或者某一个函数用错等,总之就是sql语句写的有错误,可以单独提出来放到可视化查询工具审查审查...原创 2020-05-09 09:29:56 · 44751 阅读 · 1 评论 -
解决pymssql.OperationalError: (8152, b'String or binary data would be truncated.DB-Lib error message 2
说明设置的字段长度不够,查看爬取数据的哪些要存的字段哪个需要设置大点,改成longtext 或者text原创 2020-03-18 11:28:19 · 2892 阅读 · 1 评论 -
sql server 取年月日的两种方法
1,最简单的利用其自身函数YEAR()函数返回表示指定日期中的年份的整数。MONTH()函数返回表示指定日期中的月份的整数。DAY()函数返回表示指定日期中的日期的整数。语法YEAR(date)MONTH(date)DAY(date)YEAR()/MONTH()/DAY()的参数Date可以为datetime或smalldatetime类型的...原创 2019-12-12 17:55:18 · 28722 阅读 · 0 评论 -
numpy数组列换顺序和插入数据
numpy数组列调换顺序data = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])print(data) # (3, 3)sel_data = data[:, [2, 1,0]] # 原数据的第三列在此数组的第一列print(sel_data) # (3, 2)numpy插入数据numpy.insert(arr, obj, va...原创 2019-08-19 13:25:16 · 7755 阅读 · 0 评论 -
关于解决:AttributeError:module pandas has no attribute rolling_std问题
这是已经被pandas淘汰的用法,版本太老,属于pandas 0.17.0版本现在应该改成data['rtn'].rolling(window=20).std()原创 2019-08-07 09:39:27 · 3544 阅读 · 2 评论 -
sql server 常用语法(二)
1查找值的平方SELECT SQUARE(8)642sql server的case when用法CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女'ELSE '其他' ENDCASE WHEN sex = '1' THEN '男' WHEN sex = '2' THEN '...原创 2019-08-06 14:23:42 · 322 阅读 · 0 评论 -
SQL Server 如何用语句修改主键为自动增长
第一步:先把主键去掉,然后再把涉及这列的索引删掉在进行操作。否则会报错alter table 表名 drop column 列名第二步alter table 表名 add 列名 int identity(1,1)...原创 2019-08-01 13:19:52 · 13720 阅读 · 0 评论 -
anaconda 来安装第三方包
1首先在菜单栏里打开Anaconda Prompt2直接打开命令窗口,然后输入pip install 你要安装的第三方包名称3安装完成原创 2019-08-01 10:43:53 · 1028 阅读 · 0 评论 -
sql server 关于数据表横纵切换
目的如下:将图1转换为图2 ,就是将因子名称字段里面的值单独提出来作为新的数据表的字段,来提高查询速度 图1 图2...原创 2019-07-26 14:43:36 · 388 阅读 · 0 评论 -
采用numpy快速将两个矩阵或数组合并成一个数组和行列转置
举例子:构建两个数组a = [[1,2,3],[4,5,6]]b = [[1,1,1],[2,2,2]]1、数组纵向合并c = np.vstack((a,b))2、数组横向合并d = np.hstack((a,b))3、数组行列转置c = np.vstack((a,b)).transpose()...原创 2019-07-12 13:29:03 · 7515 阅读 · 0 评论 -
SQl server 把int型时间戳转换为相应的datetime型
Date_Daily_Ret 为整数时间戳将Date_str更新为‘20160301’格式UPDATE t_stock_factor_backtest set Date_str = a.Date_str1from (select Date_Daily_Ret,CONVERT(VARCHAR(12),DATEADD(SECOND,Date_Daily_Ret,'1970-01-01 0...原创 2019-08-20 14:52:44 · 1636 阅读 · 0 评论 -
sql server如何将带双引号或单引号的字符串的引号去掉
update t_stock_factor_backtest set 字段名 = replace(字段名,'''','')原创 2019-08-15 18:36:16 · 7171 阅读 · 0 评论 -
消息 3623,级别 16,状态 1,第 8 行 出现无效的浮点操作 解决办法
三种思路:一,错误的原因很简单,就是试图无效使用数学函数。就是log 底数为负数之类的数学逻辑错误解决办法就是识别传递的错误值来施加约束纠正,比如把log底数大于等于0,加一些限制条件二,可能是除法问题sqlserver 除数不能直接用字段除,需要先乘以1.0三,可能就是函数约束比如POWER函数里面就不能为负数开三次根错误写法:POWER(-2,1...原创 2019-10-11 16:53:56 · 1783 阅读 · 0 评论 -
sql server 1/3处理
在使用POWER()函数时候,发现开1/3次幂结果都为1,最后才知道,应该写为1.0/3,因为1/3sql server会默认为0原创 2019-10-10 17:46:10 · 406 阅读 · 0 评论 -
mysql 轮询执行脚本
1.查看事件是否开启show variables like '%sche%';2off的话,则开启事件set global event_scheduler =1;3创建存储过程CREATE PROCEDURE book () update car_space SET start_time =null , space_status=0 WHERE minut...转载 2019-09-25 09:22:34 · 439 阅读 · 0 评论 -
mysql的常用操作和修改,会一直补充(参考官方)
1.创建表结构CREATE TABLE table_name (column_name column_type)2.删除数据表DROP TABLE table_name 3.插入数据INSERT INTO table_name ( field1, field2,...fieldN ) VALUES ( value1, value2,...valueN )4.查询数据...原创 2019-09-09 16:24:29 · 252 阅读 · 0 评论 -
pandas根据条件替换某一列的值
例如:在pandas里当trade_status为0,开高低收成交量都变为Nonedata_clean = pd.DataFrame(results1,columns=['code','date','trade_status','adj_open','adj_high','adj_low','adj_close','adj_volume','rtn'])data_clean.loc[da...原创 2019-08-28 15:34:28 · 28484 阅读 · 1 评论 -
sql server字段减去null类型结果会变为null
sqlserver减法一定要特别注意:int或者float类型字段减去为null的数值结果为null,对于数值一定要记得加上isnull来判断不为null原创 2019-08-26 13:23:52 · 2015 阅读 · 0 评论 -
sql server 前置填充
UPDATE [perf_attr_stock].[dbo].[t_stock_quote]SET AccuCashDivi = b.AccuCashDivi,RatioAdjustingFactor = b.RatioAdjustingFactor,AccuBonusShareRatio = b.AccuBonusShareRatioFROM(select [stock_...原创 2019-07-02 14:04:37 · 490 阅读 · 0 评论 -
pyqt聊天程序简单制作
两段代码分别运行# 服务端import sysimport jsonimport requestsfrom PyQt5.QtNetwork import QTcpServer, QHostAddressfrom PyQt5.QtWidgets import QApplication, QWidget, QTextBrowser, QVBoxLayoutclass Serve...转载 2019-06-18 14:36:38 · 1707 阅读 · 2 评论 -
PyQt5开关灯演示
效果如图:图片下载地址off.png:https://www.easyicon.net/download/png/538753/64/on.png:https://www.easyicon.net/download/png/538754/64/import sysfrom PyQt5.QtGui import QPixmapfrom PyQt5.QtWidget...原创 2019-06-14 16:58:00 · 2818 阅读 · 0 评论 -
MySQL和SqlServer数据库列名是关键字怎么办?该如何操作和查询?
pymssql.ProgrammingError: (102, b"Incorrect syntax near ','.DB-Lib error message 20018, severity 15:\nGeneral SQL Server error: Check messages from the SQL Server\n")这种错误结果有两种,一是sql语句写错了而是里面有关键字如close...原创 2019-03-18 10:53:51 · 3408 阅读 · 1 评论 -
AttributeError: 'function' object has no attribute 'cursor'
调用方法不在一个代码文件的时候,把调用的总的设为全局变量原创 2019-03-21 13:42:05 · 11401 阅读 · 1 评论 -
sql server 的一些操作修改(会一直更新补充)
1快速修改一列的所有内容update 列表 set 列名 = 值2删除表内所有内容delete from 表名3 将一个表复制到另一个表(不同数据库迁移)示例代码:SELECT [stock_code] ,[stock_date] ,[factor_name] ,[factor_value] ,[frequency]...原创 2019-03-20 18:27:56 · 649 阅读 · 0 评论 -
使用executemany批量存数据时一定要注意存进去只能是元组(sqlserver)
使用sql语句批量存储数据的时候有时候会报错“只能存一个元组而不是列表”,这是因为factor_data.append((stk_code, dt.datetime.strftime(i, "%Y%m%d"), 'asset_mrq', asset_data[idx_date],date))sql = "insert into t_stock_factor(stock_code,sto...原创 2019-03-12 09:12:10 · 2381 阅读 · 2 评论 -
用sql语句将一个数据库的数据表导入另一个数据库(sqlserver)
SELECT [stock_code] ,[stock_date] ,[factor_name] ,[factor_value] ,[frequency] ,[update_time] ,[flag] ,[stamp] into [stk_per_attribution].[dbo].[t_stock...原创 2019-03-11 16:45:24 · 9483 阅读 · 0 评论 -
读取pickle存储数据两种方式
1使用pickle库import picklewith open('F:\\xloaddata','rb') as f: data = pickle.load(f)2使用pandasimport pandas as pdpd = pd.read_pickle('F:\\xloaddata')print(pd)原创 2019-03-14 15:37:11 · 3945 阅读 · 1 评论 -
python 读取修改excel
(1)安装python官方Excel库-->xlrd(2)获取Excel文件位置并读取(3)读取sheet(4)读取指定rows和cols内容import xlrdfrom datetime import date,datetimedef read_excel():#文件位置ExcelFile=xlrd.open_workbook(r'C:\Users...原创 2018-11-12 13:12:50 · 1682 阅读 · 3 评论 -
树与树的算法
树与树的算法 – 概念:树是一种抽象数据类型(ADT)或是实作这种抽象数据类型的数据结构,用来模拟具有树状结构性质的数据集合。它是由n(n>=1)个有限节点组成一个具有层次关系的集合 它看起来像一棵倒挂的树,根朝上,叶朝下。树与树的算法 – 概念:特点: 每个节点有零个或多个子节点; 没有父节点的节点称为根节点; 每一个非根节点有且只有一个父节点; 除了根节点外,每个子节点可...原创 2018-08-13 16:30:11 · 252 阅读 · 0 评论 -
数据结构之搜索
搜索: 搜索是在一个项目集合中找到一个特定项目的算法过程。搜索通常的答案是真的或假的,表示该项目是否存在。搜索的几种常见方法:顺序查找、二分法查找、二叉树查找、哈希查找。搜索 – 二分法查找:二分法查找: 二分查找又称折半查找 优点:比较次数少,查找速度快,平均性能好; 缺点:要求待查表为有序表,且插入删除困难。 使用场景:适用于不经常变动而查找频繁的有序列表。搜索 – 二分法...原创 2018-08-13 12:16:56 · 529 阅读 · 0 评论 -
亿万级数据入库操作流程(从已有大量的CSV格式导入数据库过程)
-- 第一步删表 DROP TABLE [dbo].[t_stock_factor_test]-- 第二步建表CREATE TABLE [dbo].[t_stock_factor_test] ([id] varchar(200) NULL ,[stock_code] varchar(200) NOT NULL ,[stock_date] varchar(200) N...原创 2019-05-14 16:30:03 · 1235 阅读 · 0 评论 -
解决[Err] 42000 - [SQL Server]由于无法打开文件“”,无法进行大容量加载。操作系统错误代码为 3(系统找不到指定的路径。)
这是由于服务器(数据库安装所在的电脑)没有找到你要导入的文件,记住必须是服务器上的文件路径!bulkinsert是在服务器上执行的,和你本地的位置无关。...原创 2019-03-13 17:22:17 · 6790 阅读 · 0 评论 -
关于sql语句一些最最基础的常用总结
SQL SELECT 语句常用查询语句SELECT 列名称 FROM 表名称 SELECT * FROM 表名称SQL SELECT DISTINCT 语句常用查询不重复的值 关键词 DISTINCT 用于返回唯一不同的值。SELECT DISTINCT 列名称 FROM 表名称 SQL WHERE 子句如需有条件地从表中选取数据,可将 WHERE ...原创 2019-03-18 23:11:06 · 272 阅读 · 0 评论 -
python 数字字符串获取固定长度的数值,不够的左边补0
Python zfill() 方法返回指定长度的字符串,原字符串右对齐,前面填充0语法格式:str.zfill(width),width指定字符串的长度stk_code = 1stk_code = str(stk_code).zfill(6)print(stk_code )输出结果:000001...原创 2019-06-06 13:26:01 · 18709 阅读 · 1 评论 -
Python中经典快速排序算法的实现
def quicksort(arr): if len(arr)<= 1: return arr pivot = arr[len(arr)//2] left = [x for x in arr if x <pivot] middle = [x for x in arr if x == pivot] right = [x for x...原创 2019-05-23 14:27:00 · 509 阅读 · 0 评论 -
字符串拆分和拼接(20081231转为2008-12-31示例)
str_i = "20081231"list_i = list(str_i) # str -> listprint(list_i)list_i.insert(4, '-') # 注意不用重新赋值list_i.insert(7, '-')print(list_i)str_i = ''.join(list_i) # list -> strprint(str_i)...原创 2019-05-30 10:00:19 · 992 阅读 · 0 评论 -
pandas,numpy学习记录(不断补充)
pandas安装:conda install pandas导入pandas包:import pandas as pdimport numpy as npimport matplotlib.pyplot as plt通过传递值列表来创建一个Series,让pandas创建一个默认的整数索引:s = pd.Series([1,3,5,np.nan,6,8])print(...原创 2019-05-14 16:29:02 · 335 阅读 · 0 评论