BBJG_001的博客_CSDN博客-Python,Pytorch,py基础领域博主

BBJG_001

码龄2年

手与大脑的距离决定了理想与现实的相似度

毕业院校青岛理工大学
于 2019-05-06 加入CSDN

获得成就

获得321次点赞
内容获得61次评论
获得360次收藏

荣誉勋章

兴趣领域

#人工智能

#Python#机器学习#深度学习#算法#神经网络#PyTorch#TensorFlow

TA的专栏

Mac PicGo+腾讯云实现Typora自动上传图片

typora是我用的比较顺手的一款文本编辑工具，嗯，它只是一个文本编辑工具，它能显示图片是因为工具软件的原因，就像浏览器能渲染html文件等到丰富的网页一样，用文本文档打开的.html文件才是他本来的样子，html的编辑和展示通常是分开的，用不同的工具软件。Typora对于.md是一款所见即所得的工具软件，将编辑和展示集成到了一起。说回正题，对于图片，Typora识别![xxx](image_path)这样的语法，从image_path拉去图片进行展示，该path可以是本地路径，也可以是url，在往Typ

发布博客于 2 月前

并查集原理并Python实现、Java实现

原文地址分类目录——数据结构笔记喔哈哈，刷题刷到了并查集，我就把我一年级时候的课程设计拿了出来，就直接贴上了那回事儿是用Java写的，Python实现在文尾Python实现这里写了一份简单版的，通过字典实现父子关系relation = {son:father}# 构造｛节点：祖先｝关系，使每个节点的父亲都指向最顶层祖先def union_find(nodes, edges): father = {} # 字典记录父节点｛node: father_node｝ for n

发布博客于 7 月前

RL_DQNv3.py

Pytorch实现强化学习算法DQN，DQN以Q_Learning算法为基础，通过神经网络生成Q值，智能体利用神经网络模型自动生成Q值，根据Q值大小选择动作，最终完成强化学习任务。

发布资源于 9 月前

教你如何永久白嫖8核32G内存高性能python服务器

发布Blink于 10 月前

Hyper-V PCI设置直通——显卡直通

发布Blink于 10 月前

mujoco环境变量报错：Missing path to your environment variable.

Missing path to your environment variable. Current values LD_LIBRARY_PATH= Please add following line to .bashrc: export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root/.mujoco/mujoco200/bin报错环境Ubunut18...

发布博客于 10 月前

虚拟机监控程序功能对于该用户来说不可用

![监控程序不可用](https://zydstore-1258477714.cos.ap-beijing.myqcloud.com/typora/20200416233122-505532.png) 问题发生在我为Hyper-V中的Ubuntu虚拟机直通了宿主机的显卡（1060的N卡），然后就无法打开虚拟机了我参考的 [Hyper-V虚拟机的物理设备直通(Discrete Device Assignment, DDA)与显卡直通实践](https://www.licc.tech/article?id=35)进行的显卡直通操作宿主机是Win10（1809）的系统，有一个集显和一个1060的N卡虚拟机时Ubuntu18.04 我尝试了在虚拟机上没有显卡（没有直通显卡，有虚拟机显卡的时候）时候先装上对应的1060的驱动，这个过程也没能完成 i7应该是支持的，我按 https://www.intel.cn/content/www/cn/zh/support/articles/000005486/processors.html 的说明进行了查询，用里面提到的英特尔® 处理器标识实用程序进行了检测，结果表明我的vt-d没有开；我的笔记本是小米的，无法在BIOS中修改这个设定，我打客服电话说是vt-d是默认开启的，然后。。。

发布问题于 10 月前

Hyper-V配置显卡直通后虚拟机无法开机

![虚拟机无法开机](https://zydstore-1258477714.cos.ap-beijing.myqcloud.com/typora/20200416233122-505532.png)

发布问题于 10 月前

Markdown编辑器中插入公式

原文地址公式内容的语法可以参考这里行内公式语法格式$公式文本$示例避免了$\pi(s)=\underset{a}{\arg\max}Q(s,a)$ 策略导致的DQN参数过大难收敛的问题效果避免了π(s)=arg⁡max⁡aQ(s,a)\pi(s)=\underset{a}{\arg\max}Q(s,a)π(s)=aargmaxQ(s,a) 策略导致的DQN参数过...

发布博客于 10 月前

Hyper-V PCI设置直通——显卡直通

原文地址很遗憾我失败了，但是找到了一些教程说明这确实是可行，这里给出一些我感觉不错的参考，同时列出我的问题希望能有大佬给解答一下方案思路就是从宿主机禁用指定设备、将指定设备添加到虚拟机Hyper-V虚拟机的物理设备直通(Discrete Device Assignment, DDA)与显卡直通实践这个比较全，包括直通与恢复[Hyper-V 实战] Hyper-V链接PCIE设备直通显卡...

发布博客于 10 月前

Windows下操作文件报错：文件名或扩展名太长

原文地址注：我的解决环境时在win10（1089）下问题在用os模块操作某全路径文件时，报错文件名或扩展名太长原因Windows中限定了默认的256个字符路径长度限制(MAX_PATH)解决修改这个最大长度的限制从Windows 10（版本1607）开始，MAX_PATH限制已从Common Win32文件和目录功能中移除。若要使用新的扩展路径行为，必须通过更改注册表项...

发布博客于 10 月前

爬虫：Python下载html保存成pdf——以下载知乎下某个专栏下所有文章为例

原文地址分类目录——万能的Python系列分类目录——爬虫系列首先，需要下载安装支持工具 wkhtmltopdfwkhtmltopdf官网下载地址安装完成后将其下bin目录的绝对路径追加到环境变量中之前import requestsimport reimport osimport jsonimport pdfkitHEADERS={ # 设置requests要...

发布博客于 1 年前

Python调用Graphviz画流程图

原文地址分类目录——万能的Python系列近来发现了一个神奇的画流程图的工具——GraphvizGraphviz官网什么是Graphviz？Graphviz是开源的图形可视化软件。图形可视化是一种将结构信息表示为抽象图形和网络图的方式。它在网络，生物信息学，软件工程，数据库和网页设计，机器学习以及其他技术领域的可视界面中具有重要的应用。引自 Graphviz官网+谷歌翻译就是一...

发布博客于 1 年前

Pytorch可视化——tensorboardX

原文地址Pytorch系列目录tensorboardXtensorboardX GitHub安装支持包pip install tensorboardpip install tensorflowpip install tensorboardX程序中关键语法from tensorboardX import SummaryWriter'''model声明'''mo...

发布博客于 1 年前

Pytorch可视化——Netron

原文地址Pytorch系列目录NetronNetron官方/下载网址Netron GitHubWindows下安装Netron这个软件很简单，只需要进入上面的下载地址，点击“Download for Windows”即可下载安装包，双击安装包即可安装图片来源Netron的简单使用是通过打开保存好的模型文件，从上图可以看到，Netron目前可以支持的平台很多，在其中就有Pyt...

发布博客于 1 年前

Pytorch和Tensorflow中的交叉熵损失函数

原文地址Pytorch系列目录导入支持import tensorflow as tfimport torchimport numpy as np生成测试数据onehot_labels = [[0,0,1,0,0], [0,0,0,1,0], [0,1,0,0,0], ...

发布博客于 1 年前

Pytorch中的view()函数

原文地址Pytorch系列目录view()函数有些像numpy中的reshape函数，是用来的tensor（张量）形式的数据进行围堵重构的，直接用程序来说明用法生成测试数据import torchtorch.manual_seed(0) # 用来控制内部的随机机制使每次得到的随机数一样tt = torch.rand(3,4)# tensor([[0.4963, 0.7682,...

发布博客于 1 年前

调用浏览器的爬虫——selenium

原文地址分类目录——爬虫在进行网页爬取时，有些网页比较难分析，应用的很多动态特性；还有可能会在header中封装了很多奇奇怪怪的不知道怎么获取的数据；这时候可能会想如果能用程序吊起浏览器来，自动执行点击，拖动等动作就好了selenium就是这样一个工具包先看一个例子上面所有的操作都是selenium程序控制执行的，当然，执行遇到了问题，卡在了图片验证上，这个之后再说，先看一下上述操...

发布博客于 1 年前

Pytorch控制打印矩阵的格式

原文地址分类目录——Pytorch诸如长序列单行显示，全部显示（不缩略显示），精度（保留小数点后几位），是否科学计数法显示等等。直接用程序来说明生成测试数据import torchtorch.random.manual_seed(0) # 固定每次生成的数据相同tensor = torch.rand(100, 9)-0.5print(tensor) # 在默认的显示设置下进...

发布博客于 1 年前

Numpy控制多维矩阵的显示格式

原文地址分类目录——numpy诸如长序列单行显示，全部显示（不缩略显示），精度（保留小数点后几位），是否科学计数法显示等等。直接用程序来说明生成测试数据import numpy as npnp.random.seed(1) # 控制每次生成的随机数据相同data = np.random.random(700).reshape((100,7))print(data)效...

发布博客于 1 年前

爬虫：异步（并行）数据爬取

原文地址分类目录——爬虫在进行网页爬取时，网页的响应速度慢于计算机的处理速度，在串行模式下访问多个网页，在通过网络获取一个网页的过程中，在这个过程之前，计算机只能闲置等待。而异步的方式就是让计算机可以在这个闲置时间先去做后面的工作，等这个网页响应完成再对它进行处理。这里说的这种异步的方式是一种分时获得时间片的机制，有些像多线程，不同于多进程，私以为比较适合爬虫这种IO密集型操作。异步编...

发布博客于 1 年前

爬虫: 多进程分布式数据爬取

原文地址分类目录——爬虫多进程的使用可以参见分类目录——多进程，这里就直接操作不在进行过多的说明这里以把我的CSDN上的20条博客访问一遍为例，来比照单纯串行和多进程并行的执行效率首先，获取我所有博客的URL（当然只用20条做测试，我把这个功能封装了一个函数，方便我之后调用）def getAllUrls(url): # url传个人主页，我的是 'https://b...

发布博客于 1 年前

tkinter控件放置pack、grid、place

原文地址分类目录——tkinter先看效果.pack()方式放置.grid()方式放置.place()方式放置应用实例.pack# # .pack()方式放置tk.Label(window, text='1', bg='red').pack(side='top') #上# pack支持的属性after, anchor, before, ex...

发布博客于 1 年前

tkinter弹窗messagebox

原文地址分类目录——tkinter先看效果messagebox应用实例def hit_me(): # 提示信息弹窗 tk.messagebox.showinfo(title='Hi', message='info') # tk.messagebox.showinfo(title='', message='') # 提示信息对话窗 # tk.mess...

发布博客于 1 年前

tkinter窗口布局Frame

原文地址分类目录——tkinter先看效果emmm，看起来并不是想要的亚子，框架会保证各个frame的相对位置，大小时可变大小的，随着内容而增大Frame应用实例tk.Label(window, text='on the window').pack()# 在window上创建一个framefrm = tk.Frame(window, bg='purple')frm.pa...

发布博客于 1 年前

Python匿名函数（lambda表达式）

原文地址我的简单理解就是通过一行代码定义一个函数lambda表达式语法如下函数名 = lambda 参数 : 参数表达式在使用的时候函数名(变量)eg.通过常规方式定义函数 if x<y: res = x+y else: res = x-y return resprint(fun(1,3))# 4通过l...

发布博客于 1 年前

only size-1 arrays can be converted to Python scalars

原文地址在使用multiprocessing.Array()在多进程间共享多维数据时import multiprocessing as mpaa = mp.Array('i', np.array([[1,1], [2,2]]))# TypeError: only size-1 arrays can be converted to Python scalars我找到的解决方案：使用mu...

发布博客于 1 年前

tkinter制作菜单栏

原文地址分类目录——tkinter先看效果其中黄色部分是一个Label，菜单中的命令选项没点击一下，就能调用写好的函数在这个Label中输出，功能为统计命令被点击的次数应用实例Menu对象=tk.Menu()定义一个菜单条，或横条（顶部的菜单横条），或竖条（点击‘文件’弹出的竖条），或额外的子条（点击某个选项后展开的条），如下图中的三个红色方框框住的，都可以被认为是一个M...

发布博客于 1 年前

tkinter连续范围选择控件Scale应用实例

原文地址分类目录——tkinter先看效果其中黄色部分为一个Label，用来显示当前游标所在位置的值；下放为刻度尺（Scale），拖动游标可以选择不同的值Scale使用示例s = tk.Scale(window, label='try me', from_=5, to=11, orient=tk.HORIZONTAL, length=200, show...

发布博客于 1 年前

tkinter多选框Checkbutton应用实例

原文地址分类目录——tkinter先看效果其中上面是一个Label，用来根据选择情况作出相应的展示；下面是一组复选框（Checkbutton）Checkbutton使用实例var1 = tk.IntVar()var1.set(1) # 如果设置值是onvalue的值，就默认选中；如果设置值是offvalue或者非on非off的值，就默认不选中var2 = tk.In...

发布博客于 1 年前

tkinter中的单选框Radiobutton应用实例

原文地址分类目录——tkinter先看效果Radiobutton使用var1 = tk.StringVar()var1.set('B') # 设置哪一个被默认选中，如果设置值不在可选项中，则全不被选中r1 = tk.Radiobutton(window, text='Option A',variable=var1, value='A', ...

发布博客于 1 年前

tkinter中的ListBox应用实例

原文地址分类目录——tkinter先观察效果其中最下面的框是ListBox框，将数据列在一列输出，中间为一个Button，该Button链接的功能为获得在ListBox中选中的内容，然最在最上面黄色的Label中显示ListBox使用var2 = tk.StringVar()var2.set((11, 22, 33, 44)) # 内容设置为元组、list都可以lb = ...

发布博客于 1 年前

tkinter中的Entry和Text应用实例

原文地址分类目录——tkinter先看一下Entry和Text的效果其中上面为输入框，下面为Text展示框tk.Entry()e = tk.Entry(window, show='*' , bg='#aaaaaa') # 声明输入框# 输入框，可供传入的变量有： background, bd, bg, borderwidth, cursor,# exportselect...

发布博客于 1 年前

tkinter制作强化学习可视化环境

原文地址分类目录——强化学习分类目录——tkinter全部代码先看一下环境效果强化学习用到的环境通常需要以下几个功能函数_init_() def __init__(self): super(Maze, self).__init__() self.observatin_space = [(x, y) for x in range(1...

发布博客于 1 年前

tkinter画图Canvas应用实例

原文地址分类目录——tkinter先看效果其中蓝色区域为一块画布（Canvas）区域，在画布上放置了图片，画了圆形、方形、扇形；下方的按钮可以调用方法移动左边的矩形Canvas应用实例canvas = tk.Canvas(window, bg='blue', height=100, width=200)# 注意：tkinter中的坐标系左上角为原点，向右为x轴正向，向下为y轴...

发布博客于 1 年前

强化学习：Pytorch实现DQN

原文地址分类目录——强化学习分类目录——Pytorch全部代码DQN的理论理解可以参见我写的强化学习：DQN的理解，这里就直接上代码了，需要处通过注释进行说明导入支持包import torchimport torch.nn as nnimport numpy as npfrom gymTest.mazeEnv import Maze # 这是一个我自己写的环境...

发布博客于 1 年前

数据结构笔记：二分查找

原文地址分类目录——数据结构笔记只能作用于有序的顺序表上又折半查找对比序列的中间值，小于该值从左序列中二分查找，大于该值从右序列中二分查找，直到查找到目标值或子序列只有一个元素截止实现递归实现def binarysearch(alist, item): '''二分查找_递归实现''' n = len(alist) if n > 0:...

发布博客于 1 年前

强化学习：DQN的理解

原文地址分类目录——强化学习还是根据Q(s, a)值来进行动作判断的一种机制传统的Q-Learning强化学习会生成一个状态动作的组合表，通过一轮轮的迭代使这个表格收敛。**问题：**现实中的活动往往状态空间很大，比如下围棋，理论上Q表的矩阵要达到（19**2）*（19**2）的规模，存储这么一个表格是一个问题，学习并让这个表格收敛更是一个大问题。——如果能有一个公式能通过输入当前的状...

发布博客于 1 年前

数据结构笔记：归并排序

原文地址分类目录——数据结构笔记先把整个序列对半拆分，然后对子序列在进行对半拆分，直直拆成每个子序列只有一个元素，然后再按拆分顺序一层一层反向合并，在拆分过程中原来在一个子序列的，合并后还在子序列，合并时需要保证按序合并最底层的合并好说，两个值，比较大小，小值在前再往上，需要为合并的两个子序列配置两个指针（姑且称之为left和right），初始分别指向序列的起始位置，较两个指针指向值，取...

发布博客于 1 年前

强化学习：一个Q_Learning算法+gym自定义可视化环境实例

原文地址分类目录——强化学习先观察效果上图是训练过程中的图片上图是训练结束后测试阶段的效果，依次选择0，1，2，3四个位置，智能体均能自行到达终点环境解释状态空间S：共有5个状态，从左到右一次为0，1，2，3，4动作空间A：共有3个动作，0，1，2分别表示原地不动，向左，向右Q值表为S*A的表格，每个Q值表示在状态s下选择动作a的Q值（s跟a搭配的合适程度，越大...

发布博客于 1 年前

数据结构笔记：快速排序

原文地址分类目录——数据结构笔记建议必须要掌握的，用的比较多。理解1每次取出第1个元素，剩余元素算作一个序列，使用两个指针分置两端，姑且吧左端称之为小指针，把右端称之为大指针，作用就是为了给第1个元素找的合适的位置。比较小指针指向值与第1个元素，如果比第1元素小说明符合要求，继续后移去判断下一个，如果不满足要求，即小指针的值比第1元素大了，停住小指针，去最右端看大指针，如果大指针指...

发布博客于 1 年前

强化学习：自定义gym环境可视化绘制

原文地址分类目录——强化学习Gym环境的主要架构查看gym.Env类的主要结构如下其中主要会用到的是metadata、step()、reset()、render()、close()metadata：元数据，用于支持可视化的一些设定，改变渲染环境时的参数，如果不想改变设置，可以无step()：用于编写智能体与环境交互的逻辑；它接受一个动作（action）的输入，根据action给...

发布博客于 1 年前

数据结构笔记：希尔排序

原文地址分类目录——数据结构笔记理论每隔一个gap取一个值构成一个子序列（也就是其中的一行，比如54，77，20），这是一个逻辑上的子序列，并不会把它拿出来，在按照插入排序进行改动时，是对原序列进行操作每个子序列内进行插入排序排序完一轮后将gap减半，再次进行按gap分子序列插入排序gap选取是一个值的研究的地方实现在描述原理时把整个序列分成若干子序列，每个子序列进行插入...

发布博客于 1 年前

强化学习：gym环境的解读及使用

原文地址分类目录——强化学习本文全部代码以立火柴棒的环境为例效果如下获取环境env = gym.make('CartPole-v0') # 定义使用gym库中的某一个环境，'CartPole-v0'可以改为其它环境env = env.unwrapped # 据说不做这个动作会有很多限制，unwrapped是打开限制的意思可以通过gym...

发布博客于 1 年前

Pytorch：Batch Normalization批标准化

原文地址分类目录——Pytorch首先我觉得莫烦老师关于Batch Normalization解释很贴切，引用在这里[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wiRfwexm-1584063180876)(https://morvanzhou.github.io/static/results/ML-intro/NB2.png)]在神经网络中, 数据...

发布博客于 1 年前

Pytorch处理过拟合——Dropout

原文地址分类目录——Pytorch什么是过拟合过拟合，简单讲就是对过度符合训练数据，比如二维空间中拟合出的一条曲线保证了所有的训练点都在曲线上，效果就像下图所示但是这并不一定是好的，这样训练出来的模型，只能说模型很好的符合了训练数据，并不代表模型就抓住了数据的变化趋势，在训练数据上，不一定就有好的表现。在神经网络中，深度层次与多节点有其必要性，但是过多的节点就容易导致过拟合，Pyt...

发布博客于 1 年前

Pytorch：测试本机GPU是否可用

import torchflag = torch.cuda.is_available()print(flag)ngpu= 1# Decide which device we want to run ondevice = torch.device("cuda:0" if (torch.cuda.is_available() and ngpu > 0) else "cpu")pri...

发布博客于 1 年前

强化学习：gym自定义可视化环境实例

原文地址分类目录——强化学习先观察一下环境测试的效果Gym环境的主要架构查看gym.Env类的主要结构如下其中主要会用到的是metadata、step()、reset()、render()、close()metadata：元数据，用于支持可视化的一些设定，改变渲染环境时的参数，如果不想改变设置，可以无step()：用于编写智能体与环境交互的逻辑；它接受一个动作（acti...

发布博客于 1 年前

数据结构笔记：插入排序

原文地址分类目录——数据结构笔记前一部分有序序列，有一部分无序序列与选择排序的不同是选择排序是从无序序列中选一个最小值插入排序是拿无需部分的第一个往有序部分插入，插入到合适位置实现def insertsort(alist): n = len(alist) for i in range(1, n): for j in range(i, 0, -1...

发布博客于 1 年前

Python：内置函数

原文地址内置函数总表内置函数__import__()abs()all()any()ascii()bin()bool()bytearray()bytes()callable()chr()classmethod()compile()complex()delattr()dict()dir()divmod()enumerat...

发布博客于 1 年前

强化学习：Gym模块

原文地址分类目录——强化学习Gym官网Gym is a toolkit for developing and comparing reinforcement learning algorithms. It supports teaching agents everything from walking to playing games like Pong or Pinball.引自Gym...

发布博客于 1 年前

数据结构笔记：选择排序

原文地址添加链接描述分类目录——数据结构笔记每一步在未排序部分去比较当前标记的最小值（初始化为第1个）与当前值的大小，更新（或不跟新）最小值的索引，维护的是一个最小值的索引每一轮找一个最小值，替换未排序部分最开始的值与标记的最小值插入排序也是将序列分为前后两个部分，前面有序部分，后面无序部分实现def selectsort(alist): n = len(alist) ...

发布博客于 1 年前

Python中shelve序列化与反序列化

原文地址序列化/反序列化将对象转换为可通过网络传输或可以存储到本地磁盘的数据格式（如：XML、JSON或特定格式的字节串）的过程称为序列化；反之，则称为反序列化shelveshelve是一个简单的数据存储方案，类似key-value数据库，可以很方便的保存python对象，其内部是通过pickle协议来实现数据序列化。shelve只有一个open()函数，这个函数用于打开指定的文件...

发布博客于 1 年前

Python批量下载bilibili的视频

发布Blink于 1 年前

从Q_Learning看强化学习

原文地址Q值Q值是一个与状态s和动作a相关的值，表示的意义为在状态s下选择动作a的程度，但应该注意它不同于强化学习中的回报R，回报是局部的，只在当下的状态上，相当于到达了某个成就点？Q值是全局性的，当下的Q值受到后续所有Q值的影响。两者之间存在着正的相关关系，选择Q值最大的动作，获得的总回报是最大的。下面是Q-Learning更新的两种表示方式，它们是等价的从1式中可以看出，Q是跟...

发布博客于 1 年前

数据结构笔记：冒泡排序

原文地址分类目录——数据结构笔记排序算法的稳定性假设序列中有两个相同的值，不过排序完成之后这两个相同值的相对位置保持不变，就是这个排序算法时稳定的；反之，则排序算法不稳定在实际中要求稳定性的场景也不多原理以升序为例每一步两个一比，更大值后移；每一轮把最大值移动到最后；大的就像一个泡，一步一步冒到后面实现def bubbltsort(alist): n = l...

发布博客于 1 年前

Python中pickle序列化与反序列化

原文地址序列化/反序列化将对象转换为可通过网络传输或可以存储到本地磁盘的数据格式（如：XML、JSON或特定格式的字节串）的过程称为序列化；反之，则称为反序列化picklepickle模块实现了用于对Python对象结构进行序列化和反序列化的二进制协议，与json模块不同的是pickle模块序列化和反序列化的过程分别叫做 pickling 和 unpickling：pi...

发布博客于 1 年前

数据结构笔记：二叉树

原文地址分类目录——数据结构笔记二叉树：每个节点最多含有两个子树的树称为二叉树二叉树的性质在二叉树的第i层上至多有2^(i-1)个结点（i>0）深度为k的二叉树至多有2^k-1个结点（k>0）对于任意一棵二叉树，如果其叶结点为N0，而度数为2的结点总数为N2，则N0=N2+1具有n个结点的完全二叉树的深度必为 log2（n+1）对完全二叉树，若从上至下、从左只右编...

发布博客于 1 年前

Python生成器表达式

原文地址先看一个列表推导式l = [i for i in range(10)]print(l)# [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]生成器表达式#生成器表达式g1 = (i for i in range(10))print(g1)# <generator object <genexpr> at 0x00000228C7A824...

发布博客于 1 年前

Python多进程共享数据

在用Python实现多进程的时候，在辅进程中是无法直接调用主进程中的变量的，可以通过其它方式调用，使用队列是一种方式，可以参见 Python多进程2 多进程的参数返回，而multiprocessing提供了更加方便的共享数据类型，封装在multiprocessing.Manager中Value、Array是通过共享内存的方式共享数据Manager是通过共享进程的方式共享数据。Value\Ar...

发布博客于 1 年前

Python：多进程传参missing 1 required positional argument

问题引出许多时候，我们对程序的速度都是有要求的，速度自然是越快越好。对于Python的话，一般都是使用multiprocessing这个库来实现程序的多进程化，例如：我们有一个函数my_print，它的作用是打印我们的输入：def my_print(x): print(x)但是我们嫌它的速度太慢了，因此我们要将这个程序多进程化：from multiprocessing im...

发布博客于 1 年前

数据结构笔记：树

原文地址分类目录——数据结构笔记概念树是一种抽象数据结构（ADT）或是实现这种抽象数据类型的数据结构，用来模拟具有树状结构性质的数据集合。它是由n（n>=1）个有限节点组成一个具有层次关系的集合。把它叫做树是因为它看起来像一棵倒挂的树，也就是说它是根朝上，而叶朝下的。它具有以下特点每个节点有0个或多个子节点；没有父节点的节点成为根阶段；每一个非根节点有且只有一个父...

发布博客于 1 年前

Python中的推导式

原文地址列表推导式语法如下[每一个元素或者是和元素相关的操作 for 元素 in 可迭代数据类型] #遍历之后挨个处理[满足条件的元素相关的操作 for 元素 in 可迭代数据类型 if 元素相关的条件] #筛选功能实例#------------ 简单的列表推导式print([2*x for x in range(10)])# [0, 2, 4, 6, 8, 1...

发布博客于 1 年前

Python函数闭包

原文地址#闭包：嵌套函数，内部函数调用外部函数的变量def outer(): a = 1 def inner(): print(a) inner()outer()# 1def outer(): a = 1 def inner(): print(a) return inner # 这就是闭包的写法getin...

发布博客于 1 年前

数据结构笔记：双端队列

原文地址分类目录——数据结构笔记双端队列（deque，double-ended queue），是一种具有队列和栈的性质的数据结构。双端队列中每一端，都可以进行存入和取出，去其中一段，都像一个栈一样。存取也只限定在两端，不能在中间双端队列的实现通过线性表实现class Dequeue(object): def __init__(self): '''初始化一个...

发布博客于 1 年前

Python生成器函数

原文地址生成器本质上也是一个迭代器，我的一点理解的话，它也有点像只能执行一轮的单链表，通过 obj.__next__()就获得了当前指针（并不是真的指针）的指向值，同时将将指针指向一下个，过程不可逆，最后一个元素执行完之后这个生成器基本上就没法用了。首先看一个普通函数# 一个普通函数def generator1(): print(1) return 'a'ret = ...

发布博客于 1 年前

爬虫：一个简单的数据爬取统计实例

原文地址分类目录——爬虫——自写程序统计自己的CSDN博客访问量我的个人主页首先解析一下我的个人主页要获得全部博客，页码进入个人主页之后显示的我的博客第1页，如果只分析一页的，只需传入这个网址就行了，要分析另外几页呢，要每次自己修改网址么，我不想那么干看一下第2页的网址https://blog.csdn.net/BBJG_001/article/list/2第3页的htt...

发布博客于 1 年前

数据结构笔记：单线队列

原文地址分类目录——数据结构笔记队列两端开口的数据结构队列有单向队列（我姑且这么称之）和双端队列单项队列只能一端只能存入，一端只能取出，先进先出可以通过线性表（顺序表或链表）实现单向队列的实现class Queue(object): def __init__(self): '''初始化一个空队列''' self.__list =...

发布博客于 1 年前

【Tensorflow2.0】4、Tensorflow2.0+Keras_快速入门教程

发布Blink于 1 年前

数据结构笔记：栈

原文地址[分类目录——数据结构笔记](https://blog.csdn.net/bbjg_001/category_9753496.html)栈（stack），有些地方也成为堆栈，是一种容器，可存储元素、访问元素、删除元素，他的特点是值能允许在容器的一段（称之为栈顶 top）进行数据的追加（push）和数据读出（pop）。没有了位置/索引的概念，保证任何时候可以访问、删除的元素都是在此前左...

发布博客于 1 年前

数据结构笔记：单向循环链表

原文地址分类目录——数据结构笔记普通单链表的结尾元素的next=None，循环链表就是将结尾元素的next=head节点实现（同单链表）class Node(object): def __init__(self, value): self.value = value self.next = None单向循环列表实现及常用方法比之单项非循...

发布博客于 1 年前

爬虫：设置Request Header（请求头）

原文地址分类目录——爬虫Request Header（请求头）是在http协议中封装的内容，在在很多网站中，会对请求头中的信息有所要求，或者是因为用作验证来反爬虫，或者是获得浏览器的信息以提供针对性的反馈等等，当缺少这些请求头信息时，有些网站可能会对请求不予反馈，或者返回错误信息。这就需要在通过代码访问的时候追加这些信息下面以一个例子来说明以 https://dig.chouti.com...

发布博客于 1 年前

情感识别：一个基于CNN的文本情感识别实例

原文地址分类目录——情感识别之前写过几篇文章来进行文本数据的预处理，包括分词，去停用词，构造词向量。这里调用前文方法获得词向量，利用pytorch编写cnn程序进行情感识别。import torchimport torch.nn as nnimport torch.utils.data as Datafrom data_helper import do_data_helperimp...

发布博客于 1 年前

爬虫：一个简单实例说明爬虫机制

原文地址爬虫，我的简单理解就是通过写定的程序，利用计算机的高速的优势，批量高效的获取数据的一种机制。通常我们访问网站是通过浏览器，而爬虫就是通过程序访问网站，也就是让程序伪装成浏览器进行访问。Request伪装浏览器发送请求应用实例import requestsres = requests.get( url='https://blog.csdn.net/BBJG_001'...

发布博客于 1 年前

在Python应用正则表达式

原文地址在python中，可以用string.startwith()、string.endswith()、if string in sentence等等进行字符匹配，但能完成的匹配有限，正则表达式是用来完成精确匹配的一种机制在各种语言中通用正则表达式能够更有效的处理字符串方法处理起来很复杂的匹配——书籍《正则指引》Python写的规则[]表示一个位置，[123]表示这一个位置...

发布博客于 1 年前

数据结构笔记：双向链表

原文地址分类目录——数据结构笔记单向链表，只能从前往后递进，单个节点只有后继节点，没有前驱节点双向链表，是一种既有后继节点，又有前驱节点的链表结构节点实现class Node(object): def __init__(self, value): self.value = value self.next = None self....

发布博客于 1 年前

python：迭代器

原文地址顾名思义，就是可以迭代的器（对象）创个实例for i in [1,2,3]: print(t)其实其内部就是调用了迭代器dir()方法dir() 函数不带参数时，返回当前范围内的变量、方法和定义的类型列表；带参数时，返回参数的属性、方法列表。如果参数包含方法__dir__()，该方法将被调用。如果参数不包含__dir__()，该方法将最大限度地收集参数信息。...

发布博客于 1 年前

看完这篇HTTP，跟面试官扯皮就没问题了

发布Blink于 1 年前

Pandas+plot画图

原文地址分类目录——Pandas导入支持包import pandas as pdimport numpy as npimport matplotlib.pyplot as plt示例1# 随机生成1000个数据data = pd.Series(np.random.randn(1000), index=np.arange(1000))# 为了方便观看效果, 对这个序列累...

发布博客于 1 年前

Python：获得列表最大值索引、获得字典最大值的key

原文地址获得列表最大值/最小值的索引ll = [3, 8, 5, 7, 2, 4]print(ll.index(max(ll))) # 获得列表最大值索引# 1print(ll.index(min(ll)))# 4获得字典最大值/最小值的keydd = {'key33':33, 'key44':44, 'key77':77, 'key22':22}print(ma...

发布博客于 1 年前

Python中json的简单使用

原文地址What is JSONJSON（JavaScript Object Notation，JavaScript物件表示法，读作/ˈdʒeɪsən/）是一種由道格拉斯·克羅克福特構想和設計、輕量級的資料交換語言，该语言以易於讓人閱讀的文字為基礎，用来传输由属性值或者序列性的值组成的数据对象。儘管JSON是JavaScript的一個子集，但JSON是獨立於語言的文本格式，並且採用了類似...

发布博客于 1 年前

数据结构笔记：单向链表

原文地址分类目录——数据结构笔记离散存储，手拉手，每一块有指向下一块的指针（形象描述，python中没有指针），就好像形成了一条链一个元素包括两部分：value 和 next链表与顺序表都是线性表知识点补充b = 20a = 'achar'a = b# 在python中，所有的变量保存的都是值的地址（就相当于c语言中的指针）# 等号右边表示执行，=b中的b就是执...

发布博客于 1 年前

Pandas数据合并二：merge

原文地址分类目录——Pandas导入支持包import pandas as pdon属性生成测试数据# 生成测试数据left1 = pd.DataFrame({ 'key': ['K0', 'K1', 'K2', 'K3'], 'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3']...

发布博客于 1 年前

Pandas数据合并一：concat

原文地址分类目录——Pandas通过pd.concat()方法合并几个DataFrame对象进行合并导入支持包import pandas as pdimport numpy as npaxis属性——指定合并的方向生成测试数据df1 = pd.DataFrame(np.ones((1,4))*0, columns=['a','b','c','d'])# a...

发布博客于 1 年前

python变量的作用域

原文地址局部变量全局变量nonlocal先看一个嵌套定义函数的实例a = 1def outer(): a = 1 def inner(): a = 2 def inner2(): nonlocal a #声明了一个上面第一层局部变量 a += 1 #不可变数据类型的修改 ...

发布博客于 1 年前

python命名空间

原文地址命名空间有三种内置命名空间 —— python解释器就是python解释器一启动就可以使用的名字存储在内置命名空间中内置的名字在启动解释器的时候被加载进内存里全局命名空间 —— 我们写的代码但不是函数中的代码是在程序从上到下被执行的过程中依次加载进内存的放置了我们设置的所有变量名和函数名局部命名空间 —— 函数就是函数内部定义的名字当调用函数的时候才会产生这个名称空...

发布博客于 1 年前

数据结构笔记——顺序表

原文地址python中的list就是顺序表的结构一体式结构等量大小的数据，可以只指定一个首地址和总长度即可（还有一个默认单位存储地址），取值则可以通过这上述参数计算而得。list1 = [1, 2020, 2008]元素外置地址，用一个顺序表存地址（地址码是等大的）list2 = [‘张三’， 2， True]内存以一个字节为索引单位python中已经对顺序表进...

发布博客于 1 年前

Matplotlib绘制动态图像

原文地址分类目录——Matplotlib效果图效果图1效果图2导入支持包import numpy as npimport matplotlib.pyplot as plt生成测试数据x = np.linspace(0, 6, 40)打开交互模式plt.ion() # 开启交互模型动态绘图所谓的动态，就是在绘制的多张图片之间切换...

发布博客于 1 年前

截图工具GifCam简单使用教程

原文地址GifCam 是一款小而美的 GIF 录制软件。她拥有一个迷人的特点 —— 通过将软件置顶在所有窗口之上，你可以像相机一样调整录制区域，移动或缩放窗口。软件界面主界面左边主框为录制框，通过拖动即可改变录制框大小Rec录制按键，开始后会变成Stop下拉可进行进行录制设置New为放弃当前已录制的，重新录制Open可以打开已经保存的gif图片，重新编辑...

发布博客于 9 月前

GitHub 上有哪些适合新手跟进的优质项目？

发布Blink于 1 年前

网易云音乐的歌词无法在桌面歌词显示

现象：Win10，已正确加载歌词，在软件内可以看到歌词，在桌面歌词框内无法显示，歌词是英文的原因：默认的歌词字体“微软雅黑”不支持英文解决：在网易云音乐中设置->歌词->字体选择下更改一种支持英文显示的字体，我选择了默认...

发布博客于 1 年前

Pytorch实现自编码器

原文地址分类目录——Pytorch什么是编码器有一中数据压缩的、降维的意思举个例子来说明，同一张图片，高清的和标清的我们都能识别出图片中的内容（这里就考虑识别这一个需求，其他需求暂不考虑），这是因为即使是标清的图片，也保留了进行识别的关键特征。但是高清的在无论是在保存，还是在提取上都会更费工夫。深度学习处理起来亦是如此，深度学习会包含很多层，每层节点也很多，这种情况下，如果输入数据的规...

发布博客于 1 年前

Pandas数据的保存与加载

原文地址分类目录——Pandas导入支持包import pandas as pd #加载模块生成测试数据df = pd.DataFrame({'col1':[11,12,13], 'col2':[21,22,23]})保存到.csv文件df.to_csv('data/savecsv.csv')从.csv文件中读取# 从.csv文件读取读取DataFrame对...

发布博客于 1 年前

Pycharm整体缩进和反（左）缩进

在使用pycharm时，经常会需要多行代码同时缩进、左移，pycharm提供了快捷方式1、pycharm使多行代码同时缩进鼠标选中多行代码后，按下Tab键，一次缩进四个字符2、pycharm使多行代码同时左移鼠标选中多行代码后，同时按住shift+Tab键，一次左移四个字符————————————————版权声明：本文为CSDN博主「masserd」的原创文章，遵循 CC 4.0 BY...

发布博客于 1 年前

Pandas空数据的处理

原文地址分类目录——Pandas导入支持包import pandas as pdimport numpy as np生成测试数据dates = pd.date_range('20200220', periods=6)df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates, columns=['A','B','C'...

发布博客于 1 年前

Pandas为DataFrame对象赋值

原文地址分类目录——Pandas导入支持包import pandas as pdimport numpy as np生成测试数据dates = pd.date_range('20200218', periods=6)df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates, columns=['A','B','C'...

发布博客于 1 年前

Pandas数据截取/选择/切片

原文地址分类目录——Pandas导入支持包import pandas as pdimport numpy as np生成测试数据dates = pd.date_range('20200217', periods=6)df = pd.DataFrame(np.arange(24).reshape((6, 4)), index=dates, columns=['A', 'B',...

发布博客于 1 年前

python装饰器wrapper

原文地址分类目录——py基础装饰器，顾名思义，为函数额外装饰一些功能通过这么一个例子来解释装饰器存在的意义，假使我写了几个函数来实现同一个需求，我想测试一下这个函数的效率，通过测运行耗时的方法。但是，如果在每个函数中都去写同样的测时间的操作，三五个函数还好说，一旦想测的函数多了，这个工作量就~~~装饰器就是这样一种机制，只需要在一个函数定义时添加一个标记，就可以给该函数执行前后添加装饰的内...

发布博客于 1 年前

情感识别：构造词向量——word2vec应用实例

原文地址分类目录——情感识别导入支持包from gensim.models import word2vecimport logging设置打印日志# 用来打印日志# logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)构建要传入sente...

发布博客于 1 年前

文本情感分析：去停用词

原文地址分类目录——情感识别随便构造了一份测试数据如下，内容是gensim下的词向量生成模型word2vec的属性说明一种方式，通过正则表达式，这里以去标点符号为例，在分词之前进行操作import re# 通过正则表达式筛除string中的标点符号def clearn_str(string): # 筛除掉中文标点 string = re.sub(r'[＂＃＄％＆...

发布博客于 1 年前