- 博客(37)
- 资源 (1)
- 收藏
- 关注
原创 centos安装openstack:pip install uwsgi 出现:ERROR: Failed building wheel for uwsgi
1.centos安装uwsgi出现:ERROR: Failed building wheel for uwsgi可以按照以下步骤解决:yum groupinstall “Development Tools”yum install python-devel最后再执行:pip install uwsgi 就可执行成功!
2020-09-27 11:39:00
2139
原创 openstack中安装keystone服务,初始化身份认证服务的数据库 ([Errno 111] Connection refused)“)问题
虚拟机ubuntu18.04,当按照官网的教程配置M版的openstack时,:出现问题:([Errno 111] Connection refused)")输入命令: tail /var/log/keystone/keystone-manage.log进行日志查看的时候,发现是主机连不上数据库的原因。经过排查有以下解决办法:进入:cd /etc/mysql/mariadb.conf.d文件夹下:vim打开 50-server.cnf文件,找到bind-address
2020-09-17 17:01:02
1374
原创 ubuntu18.04 更改固定IP
1.如若想在更改固定ip的同时,让ip和主机不在同一个网段,就参考另一篇博客(如主机ip为192段,可以更改虚拟机ip为10段):https://blog.csdn.net/qq_16963597/article/details/1077872112.更改网络配置文件:sudo vi /etc/network/interfaces编辑文件中的内容为:其中,ens33代表网卡的名称,可以通过ifconfig命令去查看;address为你想要设置的固定ip;netmask为子网掩码,一般就是这个
2020-09-17 08:48:27
1568
转载 VM虚拟机安装centos无法上网问题。附加修改centos ip的问题(随意设置网段,不限定当前计算机网段)
由于采用了默认最小化安装centos,导致很多服务不可用,首先面临的就是不可上网问题,通过查阅资料发现可以通过以下设置:cd /etc/sysconfig/network-scripts有一个ifcfg-ens开头的文件,此时用vi打开,把最后一行的:ONBOOT=no这一项改为ONBOOT=yes然后保存退出。然后重启网络服务,大功告成。service network restart...
2020-08-04 15:12:46
276
转载 解决虚拟机能主机ping通虚拟机,但是xshell连不上的问题
安装了xshell软件,但是在命令行可以ping通虚拟机,但是在xshell里一直连接失败,在网上找了很多办法,下面是成功的命令。1.首先关闭ubuntu防火墙:sudo ufw disable 重启等待2.安装OpenSSH服务:sudo apt-get install openssh-server openssh-client然后可以试着连接以下,到这步发现我自己的就可以了,可能是ubuntu选择最小化安装,有些必要插件安装不全。...
2020-07-20 08:51:36
3964
原创 百度词语爬虫
"""一:百度词语爬虫"""import urllib.requestfrom lxml import etreefrom urllib.parse import urlencode, unquoteimport requestsimport reimport jsonimport timedef digui(url,headers): try: requ...
2019-11-15 08:53:46
428
原创 dask入门(3)利用python实现一个分布式的wordcount
1.利用dask分布式,首先搭建一个dask分布式系统;2.搭建一个HDFS分布式文件系统,因为对于分布式系统来说,由于计算能力分散,最好的就是搭建一个局域网文件系统,避免本地数据的频繁分发传递;3.代码如下所示:#dask 利用hdfs单词计数from hdfs import Clientfrom distributed import Client as Cl,progressfro...
2019-11-04 12:48:52
1257
1
原创 dask分布式出现TypeError: can't pickle _thread.lock objects错误解决办法
看了好多博客,这个问题都没有讲清本质,看得我一知半解,下面是出错代码,一个简单地单词计数。#dask 利用hdfs单词计数from hdfs import Clientfrom distributed import Client as Clfrom collections import defaultdicthdfs = Client('http://192.168.175.139:9...
2019-11-04 10:00:28
1248
翻译 dask入门(2)
#计算斐波那契数实战1方法from distributed import Clientfrom dask import delayed, compute@delayeddef fib(n): if n < 2: return n # We can use dask.delayed and dask.compute to launch # c...
2019-10-14 20:43:06
853
翻译 dask入门(1)
简介:dask是一种分布式集群系统,由于python GIL(全局解释锁)的限制,运用多线程时,在同一时刻,只能有一个线程在执行,导致了运用多线程并不会使程序运行速度明显加快,反而由于线程之间的数据传输实现效果并不好。分布式系统框架流程:单机模式上运行dask:简单地例子,求解10个数的平均值。#dask求解10个数的平均值Import dask.array as daImpo...
2019-10-11 21:19:13
8862
3
原创 python 模拟鼠标点击屏幕固定区域
from ctypes import *import pyautoguiimport timetime.sleep(5)while 1: # windll.user32.SetCursorPos(600,300); # windll.user32.SetCursorPos(900,300); pyautogui.click(600, 670, clicks=1, interval=0...
2019-08-04 18:14:42
11034
原创 python调用cmd进行输入输出
由于程序需要用java和python混用,所以可以取巧,就是在python中调用cmd,在cmd中执行java所以,进行了一下测试。完美运行import oswith open("text1.txt","w",encoding="utf8") as file1: mystr = os.popen("ipconfig") # popen与system可以执行指令,popen可以接受...
2019-07-05 14:22:04
9566
原创 ubuntu 安装过程中 安装界面卡死完美解决办法 笔记本
在安装ubuntu过程中,由于是神舟电脑,问的淘宝客服,没想到比我还白,在网上搜了资料,总结如下:1 设置优盘启动 这里就不多说了,网上资料很多,找个工具直接写进u盘就好。2 u盘启动过程中,会出现选择界面,try ubuntu 、install ubuntu等,此时点“e”键,会出现一个黑框,此时在倒数第二行左右,找到quiet splash - - - 改成 quiet splas...
2019-07-05 09:18:53
54574
30
原创 pycharm出现 Pycharm this applicatation failed to start because it could not find or laod the qt 的解决办法
通常这种情况会出现在pycharm中运行图形界面时出错,在我这idle是可以运行。通过在cmd窗口中pip check matplotlib发现 matplotlib中依赖包的问题。更新其中的依赖包,问题解决。...
2019-06-27 10:04:43
2439
原创 int /'float' object is not callable 问题完美解决(单次能执行,一循环调用就出错)
遇见这种问题几次,编译器一直定位不到错误,刚开始以为是自己的算法问题,在逐步调试加入continue之后,发现在某一行之前程序都能正常运行,到某一行就出现问题。报这种错误,一般都在循环中,单次执行时程序没有问题,这种都是程序参数命名和系统关键字重复所致解决办法:查找程序,看有哪些参数名字命名为系统关键字,改正即可。...
2019-06-12 08:30:37
5618
转载 倒排索引原理 搜索引擎
在搜索引擎中每个文件都对应一个文件ID,文件内容被表示为一系列关键词的集合(实际上在搜索引擎索引库中,关键词也已经转换为关键词ID)。例如“文档1”经过分词,提取了20个关键词,每个关键词都会记录它在文档中的出现次数和出现位置。得到正向索引的结构如下: “文档1”的ID > 单词1:出现次数,出现位置列表;单词2:出现次数,出现位置列表;…………。 “文档2”的ID >...
2019-05-22 09:15:07
623
原创 python 正则表达式或( | )的用法
str1 = """我是人民解放军 我sdfsdfsdf张 """result = re.findall(r"我.*?[军|张]", str1)print(result)结果:
2019-04-25 19:17:25
17629
3
转载 pytorch CNN手写字体识别
## """CNN手写字体识别"""import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.utils.data as Dataimport torchvision #其中包括一些数据库(图片...)import matplotlib.pyplot as plt...
2019-04-23 21:50:40
3134
转载 pytorch 多种optimizer优化器 的使用
"""optimizer优化器"""import torchimport torch.utils.data as Data #批处理模块from torch.autograd import Variableimport torch.nn.functional as F #激励函数模块import matplotlib.pyplot as plt #画图模块#hyper para...
2019-04-22 16:19:29
3258
转载 pytorth编程基础实战 (一) 分类,回归,保存模型,批处理
看莫烦pytorch编写pytorch实现回归:"""回归"""import torchfrom torch.autograd import Variableimport torch.nn.functional as Fimport matplotlib.pyplot as pltx = torch.unsqueeze(torch.linspace(-1,1,100)...
2019-04-22 11:35:11
339
转载 pytorch中nn.Conv2d的理解
nn.Conv2d对应的参数如下:class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True)kernel_size: Size of the convolving kernelstride: ...
2019-04-15 19:20:59
5989
1
原创 urllib.request.urlopen()出现的程序超时假死问题
写了一个百度通用爬虫,需要对很多的url进行循环处理,获取url的html,程序逻辑没有问题,但是程序经常跑着跑着就停止不动,不报错,所以一句句加输出,最终发现原来是:pagetext = urllib.request.urlopen(request,data=None,timeout=15).read()停止都是在这句 查找资料得知,urlopen()有一个超时参数,当长时间获取不到响...
2019-04-14 20:18:40
8156
1
转载 gensim的简单实用实例
转载加原创简单程序代码和注释::raw_corpus = ["Human machine interface for lab abc computer applications", "A survey of user opinion of computer system response time", "The EPS user int...
2019-04-03 12:08:28
451
转载 keras入门一
"""基于MLP的softmax多分类(十分类)"""import keras#引入序列模型模型from keras.models import Sequential#引入全连接层、# 随机失活(引入随机失活后,神经网络的每个节点都会贡献内容,不会出现少数高权重节点完全控制输出结果的情况,因此降低了网络的结构风险)# 激活层(没有直接用到,在全连接层间接用到)from keras...
2019-02-22 14:10:11
282
原创 CrawlSpider爬虫的使用
1. rule规则:rule规则的参数allow:满足括号中“正则表达式”的值会被提取,如果为空,则全部匹配。 deny:与这个正则表达式(或正则表达式列表)不匹配的URL一定不提取。 allow_domains:会被提取的链接的domains。 deny_domains:一定不会被提取链接的domains。 restrict_xpaths:使用xpath表达式,和allow共同作...
2018-12-28 15:10:58
336
原创 pyqt5使用笔记
退出程序并提示是否退出:def quite(self,event): #退出程序按钮 reply = QtWidgets.QMessageBox.question(self,'程序',"是否退出程序", QtWidgets.QMessageBox.Yes | QtWidgets.QMessageBox.No, QtWidgets.QMessageBox...
2018-12-23 09:49:03
226
转载 ubuntu安装google浏览器
依次执行下面命令: sudo wget http://www.linuxidc.com/files/repo/google-chrome.list -P /etc/apt/sources.list.d/wget -q -O - https://dl.google.com/linux/linux_signing_key.pub | sudo apt-key add -sudo apt u...
2018-12-19 18:53:46
1073
原创 scrapy设置中间件(uese-agent和代理)
settings.py#下载中间件DOWNLOADER_MIDDLEWARES = { 'douban.middlewares.RandomUserAgent': 100, 'douban.middlewares.RandomProxy': 200,}USER_AGENTS = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) Ap...
2018-12-19 10:59:47
557
原创 CrawlSpider下的腾讯招聘网站内容爬取
1.首先是scrapy项目的建立:scrapy startproject TencentSpider 2.打开项目文件,在对应的spider文件夹内输入:scrapy genspider -t Crawl tencent tencent.com进行tencent.py爬虫文件的建立。3.爬虫程序的设置4.tencent.py程序的编写:源代码如下:# -*- ...
2018-12-03 10:31:49
308
原创 PyQt5可视化界面进行深度学习框架调用
根据网上教程,先把界面文件转换成.py文件,然后进行程序的编写。直接上代码:# -*- coding: utf-8 -*-# Form implementation generated from reading ui file 'test5.ui'## Created by: PyQt5 UI code generator 5.11.3## WARNING! All change...
2018-12-02 21:03:24
13586
10
原创 python3 scrapy 爬取腾讯招聘,数据存为Json格式
程序主要代码:(tencentPosition.py)# -*- coding: utf-8 -*-import scrapyfrom tencent.items import TencentItemclass TencentpositionSpider(scrapy.Spider): name = "tencent" allowed_domains = ["tenc...
2018-11-27 21:07:23
389
原创 selenium+chromedrive 爬取js加载的动态网页(下拉才能显示内容)
from selenium import webdriverfrom selenium.webdriver.common.keys import Keys #调用键盘操作from selenium.webdriver.chrome.options import Optionsimport timefrom lxml import etree#创建chrome浏览器驱动,无头模式...
2018-10-15 16:06:00
6472
8
原创 正则表达式获取a便签内的href链接举例(a标签内容是可变的)
pattern = re.compile(r'<a\b[^>]+\bhref="([^"]*)"[^>]*>' + str(link_text) + '.*?</a>')result = pattern.search(html)# print(result.group(1))result_url = result.group(1) #页面内的...
2018-10-11 19:23:03
12798
4
原创 python3 实现百度贴吧html页面的获取
1.获取输入贴吧的HTML页面2.放到对应的文件中代码:from urllib.parse import urlencode,unquoteimport urllib.requestimport randomimport sysdef tiebaSpider(url,beginpage,endpage): #百度爬虫接口三个参数 url,起始页,终止页 for page in ...
2018-06-11 10:58:29
157
转载 熵,隐马尔可夫,最大熵模型,维特比算法,前向算法的通俗解释,附部分代码
什么是熵(Entropy)简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化,组织化,复杂化状态的一种度量。熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念,用来表示任何一种能量在空间中分布的...
2018-04-11 10:12:11
456
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人