python工具使用
守云开见月明
这个作者很懒,什么都没留下…
展开
-
dask入门(3)利用python实现一个分布式的wordcount
1.利用dask分布式,首先搭建一个dask分布式系统;2.搭建一个HDFS分布式文件系统,因为对于分布式系统来说,由于计算能力分散,最好的就是搭建一个局域网文件系统,避免本地数据的频繁分发传递;3.代码如下所示:#dask 利用hdfs单词计数from hdfs import Clientfrom distributed import Client as Cl,progressfro...原创 2019-11-04 12:48:52 · 1301 阅读 · 1 评论 -
dask分布式出现TypeError: can't pickle _thread.lock objects错误解决办法
看了好多博客,这个问题都没有讲清本质,看得我一知半解,下面是出错代码,一个简单地单词计数。#dask 利用hdfs单词计数from hdfs import Clientfrom distributed import Client as Clfrom collections import defaultdicthdfs = Client('http://192.168.175.139:9...原创 2019-11-04 10:00:28 · 1295 阅读 · 0 评论 -
dask入门(2)
#计算斐波那契数实战1方法from distributed import Clientfrom dask import delayed, compute@delayeddef fib(n): if n < 2: return n # We can use dask.delayed and dask.compute to launch # c...翻译 2019-10-14 20:43:06 · 888 阅读 · 0 评论 -
dask入门(1)
简介:dask是一种分布式集群系统,由于python GIL(全局解释锁)的限制,运用多线程时,在同一时刻,只能有一个线程在执行,导致了运用多线程并不会使程序运行速度明显加快,反而由于线程之间的数据传输实现效果并不好。分布式系统框架流程:单机模式上运行dask:简单地例子,求解10个数的平均值。#dask求解10个数的平均值Import dask.array as daImpo...翻译 2019-10-11 21:19:13 · 8941 阅读 · 3 评论 -
PyQt5可视化界面进行深度学习框架调用
根据网上教程,先把界面文件转换成.py文件,然后进行程序的编写。直接上代码:# -*- coding: utf-8 -*-# Form implementation generated from reading ui file 'test5.ui'## Created by: PyQt5 UI code generator 5.11.3## WARNING! All change...原创 2018-12-02 21:03:24 · 13701 阅读 · 10 评论 -
pyqt5使用笔记
退出程序并提示是否退出:def quite(self,event): #退出程序按钮 reply = QtWidgets.QMessageBox.question(self,'程序',"是否退出程序", QtWidgets.QMessageBox.Yes | QtWidgets.QMessageBox.No, QtWidgets.QMessageBox...原创 2018-12-23 09:49:03 · 249 阅读 · 0 评论 -
python 正则表达式或( | )的用法
str1 = """我是人民解放军 我sdfsdfsdf张 """result = re.findall(r"我.*?[军|张]", str1)print(result)结果:原创 2019-04-25 19:17:25 · 17924 阅读 · 3 评论 -
python 模拟鼠标点击屏幕固定区域
from ctypes import *import pyautoguiimport timetime.sleep(5)while 1: # windll.user32.SetCursorPos(600,300); # windll.user32.SetCursorPos(900,300); pyautogui.click(600, 670, clicks=1, interval=0...原创 2019-08-04 18:14:42 · 11098 阅读 · 0 评论