xiuxiuxiu666的博客

实在受不了git clone太慢了查了一下有没有加速的方法根据最新的总结，网上目前有以下几种方法：用镜像地址都试过了，看别人评论也说的是都过期了改host文件，原来试过，又重新添加了一些，作用不大(查ip的地址可以参考这里)可以参考这个人的，也可能我没改全https://blog.csdn.net/weixin_30408739/article/details/99524014?utm_medium=distribute.pc_relevant.none-task-blog-2defau

业务需求，需要大致匹配出来——表达“什么时候学习”这样字段的句子可能会出现：但不匹配 “学习” 后面出现 “金额，补偿”等字样的句子如：第一个 .* 匹配中间可能出现的 可以，能够 之类的词语补充学习内容：零宽负向先行断言 和 零宽负向后行断言(?!exp)：零宽负向先行断言，只会匹配后缀exp不存在的位置(?<!exp)零宽负向后行断言，用来查找前缀exp不存在的位置所以第二个.*满足了我们后续的文本 一旦出现金额类字样 就过滤掉的要求第二条没有匹配出来

报错详情为：ORA-12505,TNS:listener does not currently know of SID given in connect descriptor报错的提示为不清楚这个SID错误可能1一部分是未使用正确的SID，需要另行确认正确的SID，如果是正确的，且使用的是SID连接的话，则需要数据库服务器端修改listener.ora文件，具体修改参照文档：文档链接文档链接2文档链接3关于listerner.ora文件和tnsnames.ora文件错误可能2Py

项目上线需要通过奇安信代码扫描，缺陷信息主要如下：python允许用户动态的执行指令，当这一功能被恶意用户利用，就会发生动态解析代码攻击。示例给的是：op = request.GET['operation']result = eval(op)这个解决办法很简单：直接把传过来的字符串 改为import astop = request.GET['operation']result = ast.literal_eval(op)...

项目上线需要通过奇安信代码扫描，在网络上没有找到Python的具体解决办法，参考别人的博客试了一下，通过了代码测试缺陷的详细信息为：应用程序通过web请求获取不可信的数据，在未检验数据是否存在恶意代码的情况下，便将其传送给了web用户，应用程序将容易受到反射型xss攻击。示例：name = request.GET['name']return 'username:'+name如果name里包含恶意代码，那么web浏览器就会执行该代码，应用程序将受到反射型xss攻击。修复建议：1.输入验证(比

filter用来过滤列表中不要的元素比较方便，原来笔记记过，但没怎么用这次详细列一下filter——把非True的内容过滤掉filter(function or none , iterable)# eg1：前面为none,把后面数据筛选出来(True)list(filter(None,[1,0,False,True]))[1,True]# eg2:前面为函数，后面迭代数据相当于函数数据def odd(x): return x%2temp = range(10)show =

cn2an模块介绍：当时没看详细介绍，还另写了一个匹配，刚为了写总结，发现人家模块写的非常完善好用，不用自己加工，看例子吧简单例子：strict模式(严格匹配)# 在strict模式下，只有严格符合数字拼写才可以转换try: output_s = cn2an.cn2an("一百五十五","strict") # √ print(output_s)except ValueError: print('输入有误') try: output_s = cn2an

在服务器上同时开启两个flask服务，内存消耗过高，导致其中一个服务总是过一段时间就挂掉于是尝试将两个Python的flask服务合并到一个脚本里，只启动一个Python进程，原来两个脚本里的两个端口仍保持不变测试demofrom flask import Flaskfrom threading import Threadimport osapp1 = Flask('app1')@app1.route('/')def foo(): return '1'Thread(targe

遇到的问题是两个字符串拼接，查到了三种对多列同时操作的方法，其中两种可用生成列表，可直接填充为df中一列df['new_col']=list(map(lambda x,y: function(x,y), df['col1'], df['col2']))参考见：https://blog.csdn.net/tonylorn/article/details/85017221?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFro

原来用eval将字符串转过字典，但没有好好看过这个方法今天查了一下，介绍是eval() 函数用来执行一个字符串表达式，并返回表达式的值。可以看https://www.runoob.com/python/python-func-eval.html，这样该方法的执行范围就宽了很多下面主要记录前段时间用到的很好的一个技巧因为业务场景需要，要将很多连续，或者无规律的数值记录在数据库里，然后在脚本中将存储的字符串再转为列表格式进行运算。示例range(1,4)[2,3,8]

一个可能不怎么准确的表示方法，但业务上可能遇到的不同表示形式的汉字数值都可以找出来(一百二十三，一二三等)正确表示都会匹配不正确的也会读出来只匹配到了百位，因为业务上只到了百位[一|二|三|四|五|六|七|八|九|十]?[百]?[一|二|三|四|五|六|七|八|九|十]?[一|二|三|四|五|六|七|八|九|十][一|二|三|四|五|六|七|八|九|十]?match_pile = re.compile('[一|二|三|四|五|六|七|八|九|十]?[百]?[一|二|三|四|五|六|七|

强制把NaT或者Nan替换为None，这样再对None做处理object这是一种通用的数据类型。在没有明确的指定类型的情况下，所有的数据都可以认为是object类型。dfTest2 = pd.DataFrame(dict(InvoiceDate=pd.to_datetime(['2017-06-01', pd.NaT])))dfTest2.InvoiceDate.astype(object).where(dfTest2.InvoiceDate.notnull(), None)0 2017-

很慢的原因：主要是varchar转为clob存入，数据长度太长通过sqlalchemy中的types将所有的varchar类型固定为varchar格式from sqlalchemy import create_engine,typesengine = create_engine('oracle://ycr:ycr123@192.168.100.10:1521/stock')#设置写入类型，不然默认是用CLOB类型写入，内置的类型转换很慢，小量数据无所谓dtyp = {c:types.VARCHAR

第一次直接输入的拆分开的dataframe数据features和outcomes但是在报错了，具体代码为：grid_obj = GridSearchCV(clf,parameters,scoring=scorer)grid_fit = grid_obj.fit(X_train,y_train)具体报错信息为：IndexError: too many indices for array: array is 1-dimensional, but 2 were i…就是要一维数据给的二维的但这里给

读取别的文件的时候都好好的，在读一个小文件的时候，报错。具体报错如下：RuntimeError: The following handlers are available to decode the pixel data however they are missing required dependencies: GDCM (req. GDCM), pylibjpeg (req. )解决方法：下载安装pylibjpeg打开cmd，pip install pylibjpeg pylibjpeg-l

读取dcm文件# 采用pydicom模块import pydicom# 数据路径file_path = r"C:\Users\孔啊吱\Desktop\kaggle_covid19\data\3dcdfc352a06.dcm"# read_filedata0 = pydicom.read_file(file_path)# file_data = data0.pixel_array# print(file_data)# dcmreaddata1 = pydicom.dcmread(f.

因为需要JayDeBeApi连接hive和oracle两个数据库先连接一个，再连接另一个的时候会报错参考添加链接描述给出的解决方案将两个jar包依赖放到一个列表里面就可以了~另外：使用JayDeBeApi连接的时候可能会报这个错Class oracle.jdbc.OracleDriver is not found这个问题可能造成的原因之一是：因为连接的jar包文件路径——jarFile中带有中文放到一个不带中文的路径下运行就可以了！！！大家可以试一下~...

这个问题一定要记录一下原来可以连上本地的oracle，突然连接不上了报错为：ORA-12514: TNS:listener does not currently know of service requested inconnect descriptor在网上试了几种方法，差点准备卸载oracle重新安装了结果打开任务管理器，把对应的oracle服务全部开启以后就好了还好没有卸载重新下载！！！不然卸载不干净估计更麻烦...

第一次建表的时候，是直接打包的数据存进去的es直接根据传入数据确定里各字段的类型(日期类型转为了日期存进去，再次插入的时候是字符串，所以报错)当再次从别的地方存入数据时，出现字段类型不匹配报错为：‘error’: {‘type’: ‘mapper_parsing_exception’, ‘reason’: “failed to parse field [起始日期] of type [date] in document with id ‘PxqwEnkBj49MCEb4LDfv’. Preview o

共现矩阵(共词矩阵)：统计文本中两两词组之间共同出现的次数，以此来描述词组间的亲密度code(我这里求的对角线元素为该字段在文本中出现的总次数)：import pandas as pddef gx_matrix(vol_li): # 整合一下，输入是df列，输出直接是矩阵 names = locals() all_col0 = [] # 用来后续求所有字段的集合 for row in vol_li: all_col0 += row f.