- 博客(32)
- 收藏
- 关注
RSS订阅原创 Error caught was: No module named ‘triton‘
【代码】Error caught was: No module named ‘triton‘
2023-05-06 15:59:40
589
1
原创 【无标题】
87 88 非root安装个人用户下gcc，可参考http://bbs.06climate.com/forum.php?mod=viewthread&tid=87904效率倍增！PyCaret：一个开源、低代码的 Python 机器学习工具! - Python与数据挖掘的文章 - 知乎https://zhuanlan.zhihu.com/p/435657547bpytop与gpustat相似bpytop功能：[图片]，可配合gpustat使用。https://github.com/ari
2021-12-27 19:19:35
535
原创 Linux创建虚拟环境
Linux创建虚拟环境在工程项目中，对于完成项目后需要打包成docker，每次都需要先要创建适合项目的虚拟环境在进行项目实施会方便许多。Linux修改文件夹权限在工程项目中，在其他服务器中创建的文件夹，在另一个服务器中访问需要修改权限才能访问，修改代码为：sudo chmod -R 777 /ai-images/zourui/...
2021-11-25 11:42:39
733
原创 ast使用
字符串直接转换成其他类型稀奇古怪的冷知识ast库稀奇古怪的冷知识ast库最近需要使用docker进行传参但传进来的都是字符串类型，因此找到这个方法进行转换。docker传的参数：docker run -e task_id="4e051590122007024cfb296d9be2ada7" -e task_param='{"tag":"textrcnn","batch_size":32,"num_epochs":1,"learning_rate":0.0001,"pad_size":16,"dro
2021-11-10 19:12:04
640
原创 git .gitignore
将代码上传到gitlab时需要添加这个将代码上传到gitlab中大的文件，包括数据集什么的不能上传，因此为了避免疏忽大意，方便上传在上传的文件中同时上传.gitignore文件*.log*.txt*.csv*.jsonnohup.outconfig.ini.vscode!datas/user/*.json!datas/item/*.json!requirements.txt# Byte-compiled / optimized / DLL files__pycache__/*
2021-01-12 10:37:30
125
原创 config.ini
[file]output_path = /mnt/d/hx_user_profile_inference/outputinput_path = /mnt/d/hx_user_profile_inference/input#模型pathfilepath_age = /age/model/model_svmfilepath_position = /position/model/model_output2filepath_trade = /trade/model/trade_modelfilepa
2021-01-11 18:24:01
209
原创 flask接口
# 导入Flask类# import jsonimport timeimport osimport loggingimport sysimport pandas as pd# import collectionsimport configparserfrom flask import Flask, jsonify, requestfrom model.User_portrait import UserProfileSVMModelAPP_DIR = os.path.dirnam
2021-01-11 18:22:05
211
原创 python os
在项目当中要将目录都确定到根目录下import osAPP_DIR = os.path.dirname(os.path.abspath("__file__"))#APP_DIR = '/home/zourui/code'APP_DIR = os.path.dirname(os.path.dirname(os.path.abspath("__file__")))#APP_DIR = '/home/zourui'APP_DIR = os.path.dirname(os.path.dirname(
2021-01-11 10:44:43
80
原创 python collections.Counter()用法
数据处理聚类后，分不清哪类多可以用以下方法。a = dict(collections.Counter(temp_end_2[‘b’]))b = max(a,key = a.get)temp_end_2 = temp_end_2.groupby(temp_end_2.index).filter(lambda x:float(x[‘b’])==b)
2021-01-06 16:52:33
160
原创 工程项目的成长
1、configconfig_ini_dict=configparser.ConfigParser()config_ini_dict.read(os.path.join(APP_DIR,“config.ini”))logging.info(config_ini_dict)filepath_age = config_ini_dict[“file”][“filepath_age”]filepath_position = config_ini_dict[“file”][“filepath_positio
2021-01-05 16:30:59
81
原创 python类
相信很多同学和我一样，已经使用python一段时间了，但是类写的还不是很熟，甚至在学习工作中很少去写一个类。最近项目接近尾声，要封装成一个类，真是书到用时方恨少，这里赶紧记一下这两天的所学所想。类我的理解：首先面向对象编程，每一个东西都可以是我们的编程对象，我们看到一个对象就去编写它的属性，比如人的身高，名字，公司的名字，规模什么的；面向过程呢，就是比如要编写一个算法，那就要从上到下，一步一步的编写这个算法的实现过程，每一步什么结果下面怎么用到的。对于类的理解就是类是一个大的，通用的框架，人，公司，
2021-01-04 18:21:17
127
原创 剑指offer59队列最大值
思路这道题为什么在leetcode里试easy。。。怀疑人生。之前做过一道在O(1)时间内找到最小值的栈（面试题30）和两个栈实现队列（面试题9），因此结合二者可以完成这道题。第二种思路：把有可能成为滑动窗口最大值的数值存入一个两端开口的队列。deque = collections.deque() res, n = [], len(nums) for i, j in zip(range(1 - k, n + 1 - k), range(n)):
2020-12-31 12:00:16
104
原创 剑指offer09用两个栈实现队列
思路栈：先进后出队列：先进先出因此基于以上，可以用两个栈实现队列。对于栈1先正常进栈，在出栈进入栈2，在栈2里进行出栈，此时出栈顺序即队列顺序。class CQueue: def __init__(self): self.B = [] self.A = [] def appendTail(self, value: int) -> None: self.A.append(value) def deleteHead(s
2020-12-31 10:32:48
108
原创 flask的一个小项目
用户画像接口# 导入Flask类from flask import Flask, jsonify, requestimport jsonimport gensimimport osimport LACimport tensorflow as tfimport numpy as npimport pandas as pdimport sklearn.utilsimport sklearnimport osfrom sklearn.decomposition import PCAim
2020-12-30 14:35:42
239
原创 linux的成长
常用命令完成一个阶段项目后，保存在系统盘里的数据要移动到硬盘里mv -i data_test.csv /mnt/d/zourui/lr_rank_data这个是提示名字有重复的话。mkdir lr_embedding_20201129 创建文件夹top 查看运行内存shift+m查看当前内存df -h 查看内存df -i...
2020-12-30 14:30:51
76
原创 记录自我git成长的一点一滴
这里是记录自我git成长的地方。git init #git 初始化git add .py .ipynb .sh等（不能加大文件，data等数据）git add .git add --all #文件夹下的文件都添加进去git rm --cache .csv #不小心加了csv大文件撤回方法git commit -m “本次添加的文件的标注”git remote add origin http://… #本地上传的git hub 库连接git push -uorigin master #上传，这
2020-12-28 10:28:11
86
原创 剑指offer4二维数组中的查找
关键点：找规律，注意到右上角和左下角的数就好了。当我们注意到左上角右下角的数时，想要在改变查找的下一个数有两个方向，但从右上或左下查找就有一个方向。即：以左下为例，当左下的数等于要找的数，直接输出True,当该数大于要找的数只需上移一位，当该数小于要找的数只需右移一位，即每次都在数组的查找范围中剔除一行或一列，缩小范围，直到查到要找的数，或查找范围为空。class Solution: def findNumberIn2DArray(self, matrix: List[List[int]]
2020-12-17 10:43:56
82
原创 最优化问题与kkt条件
一.优化问题1.梯度下降在我们以前学过的lr模型，线性模型中我们使用梯度下降方法去寻找代价函数的最优解，找到一个初始点去不断地向梯度的反方向move直到到达梯度为0的情况。这是一个无约束的优化问题，我们通过对代价函数求偏导就可以得出。今天要说的问题是有约束条件的优化问题。2.最优化问题我们先来区分下各种优化问题minf(x)x∈R\min f(x)\quad x\in\mathbb Rminf(x)x∈R \quad 无条件优化s.t.hi(x)=0s.t.\quad hi(x)
2020-12-15 10:04:24
1017
2
原创 实习当中的林林总总
实习就是试错的过程，犯了错不要紧记下来，下次不要犯就好了。1.不要往公司的gitlab上大的文件，如数据，josn文件等，在上传的文件夹中加上.gitignore文件。2.处理的数据量太大要分批次处理，否则内存会崩掉，其他人同时在跑的代码也会die。3.处理过程中，不用的数据要del否则会占内存。4.要时刻沟通，不会的要及时问，不要拖，公司里做出来就是做出来，做不出来啥也不是。5.来公司是来干活的，不是来学习的。6.分批次训练数据batchsize不要调太小，会很慢。7.训练要使用GPU，否则
2020-12-15 09:32:28
81
原创 20201214剑指offer65
不用加减乘除做加法本科老师讲到反码补码的时候提过这个，大致记得是按位或，按位与又移位什么的，但是好久不看，当时也是知道个大概并没有深究，现在又回头捡起来。分两种情况：1.不是进位的地方：异或运算2.进位的地方：与运算+左移一位class Solution: def add(self, a: int, b: int) -> int: x = 0xffffffff a,b = a&x,b&x while b !=0:
2020-12-14 15:16:16
70
原创 数据分析遇到的问题汇总（不断更新）
iris = sns.load_dataset("iris")iris.head()报错：urllib.error.URLError: <urlopen error [Errno 11004] getaddrinfo failed>电脑配置的DNS不能使用了，只需修改DNS地址为114.114.114.114即可修改DNS链接：https://jingyan.baidu.com/article/2c8c281d6170630008252afb.html以上转载于：https://
2020-08-27 10:35:31
654
原创 logistic做分类为什么叫回归
logistic做的分类的事为什么叫回归个人理解回归和分类区别在于输出的值是连续的还是离散的，离散的就可以说是分类，连续的可以说是回归，而logistic输出的值其实是连续的，他输出的是0到1的一个概率值，只是加上了sigmoid函数将它映射成0或1了，所以个人理解这是为什么logistic干分类的事，却叫成回归的原因。...
2020-08-11 15:40:24
153
原创 GBDT梯度提升回归树
原理：提升树利用加法模型与向前分步算法实现学习的优化过程。（我觉得就是把提升树算法里的残差用当前损失函数的负梯度在当前模型的值近似替代，拟合下一颗树。）为啥用负梯度的值而不用提升树里的方法算残差呢，是因为当前损失函数是平方损失和指数损失函数时每步优化都很简单，但是对于一般损失函数而言，每一步的优化并不是那么容易，所以提出了梯度提升作为残差的近似值来拟合。基于残差进行学习，那么损失函数就会越来...
2019-10-19 19:46:48
470
原创 对提升树算法的一些理解
提升树是以分类树或回归树为基本分类器的提升方法，提升树被认为是统计学习中性能最好的方法之一。提升树模型提升树采用向前分步算法，首先确定初始提升树f0(x) = 0,第m步的模型是：fm(x) = fm-1(x)+T(x;θm)(CART)其中，fm-1(x)为当前模型，通过经验风险极小化确定下一颗决策树的参数θm：参数θ表示书的区域划分和个区域上的常数。J是回归树的复杂度即叶节点个数。...
2019-10-16 21:39:02
237
原创 李航提升方法第八章
##定义提升方法是一种常用的统计学习方法，应用广泛有效。基本思想为：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独判断的好。实际上，就是“三个臭皮匠顶个诸葛亮”的道理。##1.1此章主要包括三个主要算法：AdaBoost算法，提升树算法与GBDT算法。###1.1.1 AdaBoost算法假设有一个二分类的训练数据集T = {(x1,y1),(...
2019-10-15 21:47:18
348
原创 利用Python进行数据分析之Python的数据结构
##元组元组是一个固定长度，不可改变的Python序列对象。创建元组的最简单方式，是用逗号分隔一列值在这里插入tup = 4,5,6#元组tup输出：(4, 5, 6)nested_tup = (1,2,3),(4,5,6)nested_tup输出：((1, 2, 3), (4, 5, 6))tuple([4,0,2])tup = tuple('string')tup[...
2019-10-07 20:16:16
226
原创 唐宇迪机器学习进阶第一讲数据特征
唐宇迪机器学习进阶第一讲数据特征###1数据特征离散值处理总结下来就是csv文件数据进行添加索引序号主要库import pandas as pdimport numpy as npfrom sklearn.preprocessing import LabelEncoder,OneHotEncoder导入数据zr = pd.read_csv('D:/2019.9.19/10.6s...
2019-10-06 20:15:07
323
原创 python的林林总总。
**《利用Python进行数据分析》Python基础语法（一）**语言语义Python的语言设计强调的是可读性，简洁清晰。有以下几点注意1.Python使用空白字符来组织代码，冒号标志着缩进代码块开始时冒号之后的所有代码的缩进量必须相同直到代码结束。（最好四格缩进）2.Python语言的一个重要特性就是它的对象模型一致性（对象 = 属性+方法）3.#注释 任何前面带有#的文本都会被...
2019-10-05 10:54:31
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人