- 博客(22)
- 收藏
- 关注
RSS订阅原创 Jupyter notebook和 Jupyter lab内核死亡问题的原因和解决方案
之前也遇到过几次内核死亡的问题，也一直没有想解决办法。这里总结一下并提出几个解决办法。首先明确一下jupyter出现内核死亡的原因：jupyter lab 或者 jupyter notebook 本身是一个web服务， 无法支持高并发和频繁的计算任务，对于大规模运行或高并发是不够能力处理，所以机会内核死亡。所以如果平时也习惯用pycharm，移植代码到pycharm运行就没问题了。我是因为很少用pycharm，甚至都没装pycharm。
2024-05-07 20:03:50
632
原创 2024DCIC海上风电出力预测Top方案 + 光伏发电出力高分方案学习记录
海上风电出力预测的用电数据分为训练组和测试组两大类，主要包括风电场基本信息、气象变量数据和实际功率数据三个部分。风电场基本信息主要是各风电场的装机容量等信息；气象变量数据是从2022年1月到2024年1月份，各风电场每间隔15分钟的气象数据；实际功率数据是各风电场每间隔15分钟的发电出力数据。☆2.目标转化这里的处理应该是最终获TOP的trick。之前在砍老师的文章中也提到了这个处理，例如预测房价时，转换为预测单位面积下的房价。本题海上风力很类似。
2024-05-07 20:02:54
532
原创 下载了鲁大师，打开goolgle浏览器弹出360导航页
今天为了更新一下显卡驱动，下载使用一下了鲁大师，然后卸载。悲催的发现打开google浏览器却会弹出360的导航页。解决办法：打开Google浏览器设置，找到启动时，点击删除【打开特定网页】
2024-04-20 21:25:53
322
1
原创 因果推断（三）：causalml的使用（1）_元学习器的使用
元学习器是利用一些现成的机器学习方法来进行因果推断的方法。也是相对来说最简单的进行因果推断的模型，在econml和causalml都有实现，调用也相对比较方便。
2024-04-16 17:47:56
1015
原创 因果推断（二）：因果推断涉及的ITE、ATE、CATE等效应
因果效应也称为**处理效应（Treatment effect）**是用于评判干预与否的结果差异的指标（处理变量对结果变量的影响）。比如在接受治疗组中，如果这些人不接受治疗，这组人接受治疗和不接受治疗的效应差异是多少。定义为实验组中每个个体的处理效应差异，比如一个个体在接收治疗和不接受治疗的两个处理方式的健康程度得分的差。但是一个人因为不可能。比如我们想探究接受治疗的男性用户和不接受治疗的男性用户的平均效果差异就是CATE。前面说ITE是无法观测的，是因为一个人不能同时接受治疗又不接受治疗，这里关键的就是。
2024-04-14 01:00:38
765
1
原创 因果推断（一）：因果推断涉及的各种变量
写在前面：最近开始学习因果机器学习，想着整理一下其中的涉及到一些专有名词和一些概念。后面的话会更多以代码的方式记录一下我的学习过程。
2024-04-11 18:59:03
137
原创 causalml安装 - 关于ERROR:Could not build wheels for XX, which is required to install pyproject.toml-base
微软运行库提供了大量的封装函数功能，让开发者不再需要自己编写一部分函数，极大的方便了开发者程序开发，但是运行库在程序编译的时候并不会提取相关代码编译进程序，所以就需要携带这些运行库了，软件没有运行库，调用这些api，就可能报错。这个我试过了，不知道是网上资源太过久远，往往都不能安装成功，tar.gz一般是用于linux系统的（我也尝试解压tar.gz，然后利用setup.py文件安装，也不成功），另外一个wheel文件时macos系统的，所以这条路在安装causalml走不通了。
2024-04-11 16:26:18
1611
原创 2024DCIC-光伏发电出力预测
写在前面 : 记录一下今年正式做的第一个比赛，算是给自己打个样。从去年12月开始就一直在玩儿，颓废太久啦！比赛的最终结果也不太好但好歹当个记录叭（A榜：0.8793）是一个回归任务，预测发电的出力功率，感兴趣可以去看看！
2024-04-08 23:55:50
393
1
原创 nilearn使用教程_1_从预处理好的4D核磁数据中提取bold信号
nilearn 和 机器学习库scikit-learn是同一个团队做的，所以nilearn里面也有一些机器学习方法用于分析核磁数据。我是只关注一些核磁数据的处理和画图的，机器学习部分咱们能处理出数据，模型还不好弄么。
2023-12-03 20:44:21
391
1
原创 利用pandas将每一行是一个列表的Series转为独热编码
写在前面 : 这个任务如何直接读取每一行然后列表构造倒是不太复杂，只是比较慢，这里是提供一个利用pandas比较简洁的实现方式同时也给自己做一个笔记,因为涉及到一些平时较少使用的函数。我有这样一个表，每个人有一个role_id，记录了每个人7天（day列2-8)的行为，有的人可能某天没有某种类型（type列）行为，有的人一天也可能有多个类型的行为。[在这里插入图片描述](https://img-blog.csdnimg.cn/b9e59ee549af45e0a98e8cce1454fe66.png。
2023-11-06 01:09:35
98
2
原创 阿里天池-CHIP2023-中文糖尿病问题分类-TOP2方案
写在前面 : 自己之前很少做NLP相关的竞赛，所以其实不太懂现在的大语言模型，不过很幸运有大佬带飞。最终得到92.00分排第二名简单讲这就是一个中文的分类任务，本身不是太难但是由于标注的原因和样本不均衡的原因得到高准确率还是不太容易。我的代码只是在baseline上做了一些训练流程上的改进，最终的方案还是团队大佬做的大模型。抱着学习的心态记录一下这次经历。源码都开源了，有需要的可以看看。相关的权重参数文件，可以去huggingface下载。
2023-10-28 15:14:02
1082
11
原创 DataFountain-大型多人在线角色扮演游戏中玩家充值金额预测(baseline)
写在前面 ：这个竞赛是DataFountain的一个训练赛，持续的时间也是比较长，不清楚后面会卷到多少分去。我也是前天才看到，想着做着玩儿玩儿，真正把数据下载下来才发现整个数据还是比较杂乱的，所以提供这个baseline希望给大家提供一点参考。目前的话我是0.65分左右排第3，这个baseline大概能到0.6左右。baseline比较粗糙，希望有大佬指点一二！赛题我就不重复了， 可以直接点。
2023-10-23 23:13:28
890
10
原创 解决pandas无法在循环中批量修改
最近在做数据处理的时候遇到一个DataFrame无法在循环中批量修改的问题，具体问题如下我有这样一个DataFrame我想只提取role_id为1和2的行的月份，然后构建新名为time的新列我写的代码如下但是无法实现，time列只会有最后一次循环的的结果。
2023-10-21 19:35:57
93
1
原创 catboost调用gpu就内核崩溃
上个月做一个竞赛，由于cpu实在太慢想着说调用gpu, 在网上看了一些教程以为要安装gpu版本的catboost，后面发现似乎直接把 task_type 参数改为 ‘GPU’ 便可。但是不知道为啥一运行就会出现内核死亡的问题， 在网上简单看了一下， 有的人使用xgboost也会出现这个问题，因为当时比较忙没有来得及解决，在这里标记一下。
2023-10-13 21:40:53
167
原创 构造AlexNet模型遇到的几个小问题
部分源码x = tf.random.normal([1, 227, 227, 3])alexnet = keras.Sequential([ keras.layers.Conv2D(96, 11, 4, padding = "same"), keras.layers.ReLU(), keras.layers.MaxPooling2D((3,3),2), keras.layers.BatchNormalization(), keras.layers.Co
2020-05-09 00:00:23
405
原创 在对标签数据进行独热编码时遇到NotFoundError: Could not find valid device for node. Node:{{node OneHot}}
遇到的错误NotFoundError: Could not find valid device for node.Node:{{node OneHot}}All kernels registered for op OneHot : device='GPU'; TI in [DT_UINT8]; T in [DT_HALF] device='GPU'; TI in [DT_INT32]...
2020-04-15 14:59:26
1574
原创 Python 减少循环的三个妙招！！
作为21世纪最流行的语言之一，Python当然有很多有趣的函数值得深入探索和研究。今天我就分享一下其中三个函数。这三个函数可不简单，它们可以帮助我们避免编写循环，有时循环的运行成本是很高的。此外，这些函数还有助于提高运行速度。————————map（）—————————map() 函数的作用是将另一函数作为参数，与某种数组放在一起，旨在将函数（作为参数而导入的函数）应用于数组中的每一个项。...
2020-04-10 21:09:46
2860
1
原创 Ubuntu18.04.04-最简单的open-vm-tools（VMware-tools的进化版）的安装和使用（亲测）
设置root密码打开命令行输入：sudo passwd root就可以设置root密码（你输入密码和新密码时是不会显示的，输就完了）换源依次输入下面代码sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup#备份 sudo gedit /etc/apt/sources.list#打开文件将里面的文件删除再将下面复...
2020-04-10 09:44:23
4762
1
原创 解决tensorflow1.x的版本的代码在2.0版本运行时报错问题
import tensorflow as tfv = tf.Variable(5)v = v.assign_add(1)init = tf.global_variables_initializer()sess = tf.Session()sess.run(init)m = sess.run(v)print(m)一个很简单的代码，但是报错了。如下：AttributeError...
2020-04-08 18:26:09
1412
原创 tensorflow新手使用爬坑
今天在使用notebook时，每次虽然能正常运行，但是都会在前面出现这个错误 ：WARNING:tensorflow:From D:\Anaconda\lib\site-packages\tensorflow\python\ops\math_ops.py:3066: to_int32 (from tensorflow.python.ops.math_ops) is deprecated and ...
2020-04-08 13:17:25
519
原创 jupyter notebook新手爬坑记
上回重装了一次anaconda每次激活虚拟环境就会有这个报错提示，但是并不影响我的正常激活和运行，因为自己稍微有那么一点点的强迫症，今天解决了报错大概分为两部分！分两步解决一：(base) C:\Users\123>activate tfgC:\Users\123>python C:\Users\123\Anaconda3\envs\tfg\etc\keras\load_con...
2020-04-08 00:01:51
798
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人