- 博客(58)
- 收藏
- 关注
RSS订阅
原创 python 爬虫 简单爬虫教程(requests + selenium )
最近改了实验室之前的爬虫，感觉有些生疏了，故此记录一下，我将会通过抓取网站 https://nonfungible.com/ 来进行讲解。requests + Chrome 浏览器使用Chrome 对目标网站信息进行解析首先 打开使用chrome 浏览器打开目标网页，按下 f12 键打开开发者界面。点击Network 选项。开始前可以点击清除图表清理一下请求信息。然后，点击下一页图表，你会发现下面出现了一大堆请求信息。然后，将你想要在网页上爬取的信息复制，在下面的请求信息的Response
2021-10-22 14:27:20
17151
2
原创 Open images v6 + Yolov5 轻松获取数据并做2D目标检测
如何使用fiftyone 下载 openimages 数据集 和yolov5 训练经验
2022-09-22 16:15:04
2238
3
原创 【nvidia jetson】AGX ORIN 开箱配置
目录SDK MANAGERReferenceSDK MANAGER首先在你的电脑(ubuntu系统)上下载SDK manager下载连接用盒子内的type-c接usb线连接电脑和jetson开发板,按下开机按钮和恢复按钮 。一般情况下Target hardware会检测出板子的型号。确认好了之后点击 右下角的绿色按钮 CONTINUEReferenceJetson AGX Orin 开发工具包入门第一次用Jetson Nano 就上手...
2022-04-22 14:11:41
2391
3
原创 【debug】torch.tensort.put_ 函数 ：IndexError: out of range: tried to access index 12470642 on a tensor
为了解决这个bug 首先我去查看了一下官方关于这个函数的描述https://pytorch.org/docs/stable/generated/torch.Tensor.put_.html函数参数一共有3个 index(LongTensor) – the indices into self source(Tensor) – the tensor containing values to copy from accumulate(bool) – whether to...
2021-12-14 14:15:28
966
原创 latex 伪代码简单教程
目錄欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器
2021-11-01 16:29:21
2522
原创 Nvidia SDK Manager 通過命令安裝 包
首先從網上下載一下sdk manger安裝完畢後打開命令窗口輸入sdkmanager --cli install --logintype devzone --product jetson --host --targetos Linux --version 4.6 --target JETSON_NANO_TARGETS ...
2021-10-20 11:29:50
519
原创 时间系列预测的Deep transformer模型：流感流行病例
目录首先 看篇文章我的目的是为了找到一种方法可以适用于单目标的多维特征数据的时间预测 。1 文章来源链接2 Abstract首先 看篇文章我的目的是为了找到一种方法可以适用于单目标的多维特征数据的时间预测 。1 文章来源链接https://arxiv.org/pdf/2001.08317.pdf2 AbstractIn this paper, we present a new approach to time series forecasting. Time series d
2021-10-09 23:14:14
2099
6
原创 jetson 平台 简单清理掉sd卡上系统的方法
当使用jetson 开发板的时候，有时候我们需要将卡重新刷一遍，但是jetson的系统卡会将卡内分成十五个磁盘，看着让人眼花缭乱，所以我们可以通过命令将sd卡原先的系统清楚掉。首先 win + R调出 运行窗口diskpart查看目前的磁盘list disk# 选择你想要清理的磁盘select disk x(磁盘编号) clean #完成然后再通过win + R调出 运行窗口输入 diskmgmt右键 新建一个磁盘done...
2021-10-06 16:50:46
520
原创 python BUG 记录: ModuleNotFoundError:No module named ‘sklearn.ensemble.weight xxxxxxx.....
这个问题是 当我将一些机器学习模型训练完并使用 joblib包将模型权重保存起来之后 我想要再次调用遇到的. 在网上查找了一下发现有可能是 scikit-learn的版本出了问题。Solution:pip install scikit-learn==0.21.3...
2021-10-05 16:14:44
1358
原创 unable to execute ‘/usr/local/cuda/bin/nvcc‘: No such file or directoryerror: command ‘/usr/local/cd
使用命令打开 bashrc 添加你自己的 cuda 文件目录gedit ~/.bashrc# 添加这句话到 .bashrc文件里面 export CUDA_HOME=/usr/local/cuda-10.1source ~/.bashrc
2021-09-23 11:35:30
676
原创 pytorch 多个GPU 只想用其中几个gpu时
import osos.environ['CUDA_VISIBLE_DEVICES'] = '2,3'这样就只会用到 编号2和3 的GPU了不过需要注意的是 在代码中这两个的编号会变成 0,1
2021-08-24 16:36:08
368
原创 bug 解決記錄 安裝成功的包卻依然調用不了
這是同事遇到的一個問題，就是在服務器上的虚拟环境envA中 明明安裝了 tensorflow-gpu 但是卻始終無法檢測到cuda 一開始懷疑是因為 cuda 或者 CUDnn這一部分有問題 後面檢查之後發現完好 驅動也正常。於是使用命令pip -Vpython -V发现虽然我们已经通过 conda activate envA 进入了环境里面了 但是pip 指向的是 原生的python（不是这个虚拟环境的python）于是我们最后使用：python -m install ten.
2021-08-21 17:35:29
59
原创 记录一个 自动调整超参数的pytorch 函数
https://pytorch.org/docs/master/optim.html#module-torch.optimfrom torch.optim import lr_schedulerscheduler = StepLR(optimizer, step_size=30, gamma=0.1)
2021-08-19 11:36:56
570
原创 使用 Transformer 做预测 （代码+原理）
数据集制作首先我们直接上代码 还是用波士顿房价数据集作为测试from sklearn import datasets # 导入库from sklearn.model_selection import train_test_splitboston = datasets.load_boston() # 导入波士顿房价数据train = boston.data # sampletarget = boston.target # target# 切割数据样本集合测试集X_train,...
2021-08-19 10:50:58
21270
59
原创 解决 mac os m1芯片 big sur 系统下没有权限打开应用程序的问题
原来是权限问题 直接进去 contents/macos 里面改就好了
2021-08-03 22:32:51
2364
4
原创 Energy python API 代码学习
content官方文档官方链接官方代碼試跑TestRuntime官方文档官方链接链接: 快速上手手册.链接: 输入输出参考模板.链接: 官方樣例代碼.官方代碼試跑TestRuntime首先跑的是這個 TestRuntime.pyclass runtime.Runtime(api: <ctypes.LibraryLoader object at 0x7fdff3d3bb70>)[source]Bases: objectThis API class enables a cl
2021-08-02 17:44:53
1194
3
原创 python matplotlib plt.plot 简单折线图 代码实现
import pandas as pdimport numpy as np# 随机生成数据x1 =np.random.rand(10)x2 =np.random.rand(10)fig,ax = plt.subplots( figsize = (10,6)) # figsize 可以修改画布大小# 画图 ax.plot(x1,label = "x1",linewidth=3, linestyle="--")ax.plot(x2,label = "x2",linewidth=3, li
2021-07-15 11:04:24
310
原创 python 正则表达式 提取数据中的负数和正数
这是一个BUG记录我想提取的数据 格式大概是这样的 “-128%” 或者是 128%def findElement(original,suffix): element = re.findall(suffix,original, re.S) if element == []: return "" else: return element[0]一开始我写成了只提取数字 结果没法提取到数字的正负findElement(line[4],"(\d+)%
2021-06-24 15:46:55
6094
原创 强化学习 OpenAI GYM 创建自己的环境 （官方）
目录参考链接首先创建一个目录结构一级目录 gym-foo二级目录 gym-foo/gym_foo/三级目录 gym-foo/gym_foo/envs/安装你的环境测试参考链接首先放上两个链接一个是官方自己的教程一个是官方教程的demo首先创建一个目录结构gym-foo/ README.md setup.py gym_foo/ __init__.py envs/ __init__.py foo_en
2021-06-24 10:10:58
1917
5
原创 openAI GYM 报错 AttributeError: module ‘gym.envs.box2d‘ has no attribute ‘LunarLander‘
先上一个openAI gym 万能的测试代码网上有一些代码 最后没有加 env.close() 结果会出现最好窗口卡死的情况import gymenv = gym.make("LunarLanderContinuous-v2")env.reset()for _ in range(1000): env.render() action = env.action_space.sample() print(action) env.step(action) # take a
2021-06-23 22:08:43
3314
原创 相关性分析 自由度蛮高的热力图的函数
import seaborn as snsdef heapMapPlot(data,key_list,savepath='relation/heatmap.png'): ''' 基于相关性系数计算结果来绘制热力图 ''' colormap=plt.cm.RdBu data=np.array(data) fig,ax=plt.subplots(figsize=(12,12)) #不指定颜色带的色系 # sns.heatmap(pd.Data
2021-06-21 16:51:36
367
原创 释放 GPU 显存
在训练深度网络的时候我们常常使用GPU进行加速可是由于种种原因会导致我们的程序不运行了之后把显存占用。解决方式：1、查看这个进程的GPU情况pmap -d PID2、通过制定用户查看进程信息ps -u <你的id>如果使用命令nvidia-smi不显示占用GPU显存的进程，可以使用以下命令查看：fuser -v /dev/nvidia03、删除掉进程kill idRefer:https://blog.csdn.net/LCCFlccf/article/detail
2021-06-21 14:10:39
1573
原创 tianshou + OpenAI GYM 强化学习模型 雅达利游戏环境 （附完整代码）
目录啊环境安装tianshou + pytorch 安装gym + atari环境安装其他:NOTE1 env.render() 执行出错NOTE2 windows 用户安装问题 module could not be found' when running:Reference:輸入為 ARM 類型的雅達利遊戲強化學習代码实现官网 Deep Q learning 样例学习修改 Deep Q learning 的样例測試訓練結果环境安装tianshou + pytorch 安装1、首先安装tiansho
2021-06-18 11:54:40
3728
4
原创 TensorFlow 运行老版本出现问题？
import tensorflow.compat.v1 as tftf.disable_v2_behavior()
2021-06-16 13:37:55
99
原创 通过两点经纬度求在地球上的距离
ContentHaversine公式python 代码实现ReferenceHaversine公式haversin(θ)=sin2(θ2)=1−cos(θ)2haversin(\theta) = sin^2(\frac{\theta}{2}) = \frac{1-cos(\theta)}{2}haversin(θ)=sin2(2θ)=21−cos(θ)求距離公式hav(dr)=hav(φ1−φ2)+cos(φ1)cos(φ2)hav(λ1−λ2)hav(\frac{d}{r}) = hav
2021-06-07 14:09:53
199
原创 使用差分进化算法寻找机器学习模型的超参数
首先上代码:这是基于geatpy差分进化算法包的调参合集代码中模型包括 catboost xgboost lightgbm Adaboost SVR gbdt bagging ExtraTrees RandomForest 等的回歸模型代码会自动保存所有模型的参数 模型权重和模型评估指标只需要简单切分一下训练集和测试集即可使用实例：from Frame import Genetic_geatpy # 导入git上的库from sklearn import datasets # 包含
2021-06-02 11:07:35
607
原创 使用 selenium 爬取谷歌地图的经纬度
虽然没几个人看 但是还是写一下代码仅供学习分享，禁止用于盈利或其他违法犯罪事件The code is only for learning and sharing, and is not allowed to be used for profit or other illegal or criminal activities思路 ：谷歌搜索地名的时候经纬度会出现在url中，所以我们可以利用这个来获取经纬度由于谷歌在搜索地址的时候有可能因为网络原因 url依旧显示的是你电脑所在的地址所以必须要先获取
2021-06-02 10:23:15
681
原创 Latex記錄 如何寫矩陣以及分段函數
目錄矩陣分段函數矩陣\begin{equation}\mathbf{DATA_{chiller1}} = \left( { \begin{array}{cccc}x_{t-4}^{1} & x_{t-4}^{2} & \ldots & x_{t-4}^{11}\\x_{t-3}^{1} & x_{t-3}^{2} & \ldots & x_{t-3}^{11}\\\vdots & \vdots & \ddots
2021-05-31 13:48:32
176
原创 python Geatpy包的实现进化算法多线程多进程的单目标優化 优化模型參數
深度模型的超参数，由于模型计算量大，计算时间长，往往会采用运气调参，或者随机搜索调参来进行。今天打算记录一下使用Geatpy包对超参数进行进化算法的参数优化实现。讓我們先看看文檔http://geatpy.com/wp-content/plugins/pdfjs-viewer-shortcode/pdfjs/web/viewer.php?file=http%3A%2F%2Fgeatpy.com%2Fwp-content%2Fuploads%2F2020%2F10%2F4.%E8%BF%9B%E5%8C%
2021-05-31 12:02:41
1997
1
原创 python bug记录 无法实例化自定义的类 程序卡在实例化自定义的类上
这是一个很尴尬的问题正常来说 python 是一个弱定义的语言 对于变量的type不会有过多的限制比如说class myClass(): def __init__(self): print("instantiation myClass")myclass = myClass()初始化之后会打印 “instantiation myClass”然而 有些时候，我们会给我们的类的参数加入一些default值这个时候就会出现，实例化的时候解释器找到了这个名称的类 但是找不到对应变量类
2021-05-25 10:46:17
404
原创 pandas 对数据进行逻辑上的分割操作后 将分割出来的数据集行序列重新整理成0-1
当对Dataframe 进行过切割操作之后生成的子Dataframe 中的航序列会因此改变这个时候就需要重新将正序的行序列写入 DataframedataList = []for i in range(5): li = data.loc[ [line for line in range(i,data.shape[0],5)],]#对数据进行交替式分割 # 分割完之后的li 不再是 【0,1，2,3，4,5】 而是 【0,4，9,14】 renameDict = {} # 定
2021-05-24 17:58:16
236
原创 python 贝叶斯优化调参 代码实现
这是目录环境安装优化类的实现环境安装pip 的可以使用这个$ pip install bayesian-optimizationconda的可以使用这个$ conda install -c conda-forge bayesian-optimization优化类的实现# 导入包from sklearn import metricsimport numpy as npimport matplotlib.pyplot as pltimport catboost as cbclass
2021-05-24 16:35:28
3686
原创 python bug记录安装包的时候出现 443
有可能这个python是国外源，在安装命令后面加上国内的源即可pip install geatpy -i https://pypi.tuna.tsinghua.edu.cn/simplerefer：https://zhuanlan.zhihu.com/p/109939711
2021-05-20 11:45:20
134
原创 numpy 通過索引確定序列
導入包import numpy as nptestlist = np.array([1,2,3,4,5,6,7,8,9])print(testlist[[8,7,6,5,4,3,2,1,0]])out：[9 8 7 6 5 4 3 2 1]從大到小排序：
2021-05-14 10:15:00
55
原创 windows 美化命令窗口
今天胡搞八搞把windows 的命令窗口給弄的很大Windows Registry Editor Version 5.00 [HKEY_CURRENT_USER\Console\%SystemRoot%_system32_cmd.exe] "WindowSize"=dword:00200030 "ScreenBufferSize"=dword:01170058 "WindowPosition"=dword:0079004b "ColorTable01"=dword:00235600 "Fon
2021-05-13 14:00:22
150
1
原创 sklearn 机器学习中的回归模型 简单使用代码记录
以下模型都将使用波士顿房价数据集进行测试目录准备工作导入数据集切分数据集评估指标函数模型Linear ModelsKNNSVMDecisionTreeRandom forestBaggingXgboostLightgbmCatboostGradientBoostingRefercence准备工作导入数据集from sklearn import datasets # 导入库boston = datasets.load_boston() # 导入波士顿房价数据print(boston.keys
2021-05-12 17:33:18
388
2
原创 sklearn学习 使用sklearn包的MultiOutputRegressor 处理集成学习(XGBoost GBDT 等)多回归的问题
有些时候 我们需要通过相同的feature来预测多个目标，这个时候就需要使用MultiOutputRegressor包来进行多回归多输出回归支持 MultiOutputRegressor 可以被添加到任何回归器中。这个策略包括对每个目标拟合一个回归器。因为每一个目标可以被一个回归器精确地表示，通过检查对应的回归器，可以获取关于目标的信息。 因为 MultiOutputRegressor 对于每一个目标可以训练出一个回归器，所以它无法利用目标之间的相关度信息。以下是 multioutput regre
2021-05-12 16:19:45
8330
4
原创 python numpy使用记录
Python中numpy数组的拼接、合并https://blog.csdn.net/qq_39516859/article/details/80666070numpy–拆分以及合并矩阵https://blog.csdn.net/qq_41342577/article/details/81153577?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefau
2021-05-12 14:22:56
53
1
原创 python学习 简单使用多进程、进程池来提高程序速度
最近爬取一个网站的数据，但是速度太慢了，所以想要利用多线程或者多进程的方式来爬取代码。前言翻阅了一下网上的资料，发现很多人对python多线程嗤之以鼻， 详情请点击这里 大概是说python的多线程不是真正意义上的多线程！因为python的解释器Cpython有一个叫做 **Global Interpreter Lock(全局解释器锁)**的东西，由于GIL锁存在，python里一个进程永远只能同时执行一个线程(拿到GIL的线程才能执行)。多线程（英语：multithreading），是指从软件或
2021-05-12 11:24:25
483
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人