
数据科学--python
东华果汁哥
大家好!我叫赖德发,欢迎您来到我的博客。
展开
-
【python turtle画图】太极图绘制实例
turtle 画图,使用Python画出太极阴阳八卦图的代码# -*- coding: utf-8 -*-import turtle as t# 设置背景和笔的移动速度及大小t.bgcolor('yellow')t.speed(10)t.pensize(6)# 画黑色的半圆t.fillcolor("black")t.begin_fill()t.circle(100,180)t.left(0)t.circle(50,180)t.circle(-50,180)t.end_fil原创 2022-04-19 11:01:12 · 719 阅读 · 0 评论 -
【pcdet 安装】pcdet包安装问题
更换源pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple1、拷贝本工程git clone https://github.com/sshaoshuai/PCDet.git12、安装依赖包pip install -r requirements.txt 13、安装pcdet库python setup.py develop...原创 2022-04-05 20:58:06 · 186 阅读 · 0 评论 -
【python 数据合并】1招教你csv文件合并成一个大文件
需求分析:将同一个文件夹下所有csv 合并成一个大文件,并计算各列最大值,最小值,标准偏差。解决方案:# -*- coding: utf-8 -*-import pandas as pdimport ossave_path='D:/Programs/数据项目/csv文件合并/合并前/'save_merge_path='D:/Programs/数据项目/csv文件合并/合并后/'df1 = pd.DataFrame()for parent, dirnames, filenames in原创 2022-04-04 19:08:48 · 1101 阅读 · 0 评论 -
【python 日志模块】Python 日志模块详解及具体应用
查看日志是开发人员日常获取信息、排查异常、发现问题的最好途径,日志记录中通常会标记有异常产生的原因、发生时间、具体错误行数等信息,这极大的节省了我们的排查时间,无形中提高了编码效率。我们可以按照输出终端进行分类,也可以按照日志级别进行分类。输出终端指的是将日志在控制台输出显示和将日志存入文件;日志级别指的是 Debug、Info、WARNING、ERROR以及CRITICAL等严重等级进行划分。# -*- coding: utf-8 -*-import logginglogging.basicC原创 2022-03-24 16:42:04 · 547 阅读 · 0 评论 -
【python nc文件】10分钟教你python读取nc文件
对于做海洋数据处理的同学,会经常遇到nc格式的文件,nc文件的格式全称是NetCDF.NetCDF文件可以存储多维数据,通过包含地理空间图像、栅格、地形数据、气候数据和文本的数组来存储不同类型的数据。这些数组支持元数据,使netCDF格式具有高度灵活性。NetCDF是由UCAR开发的,UCAR负责维护支持使用该格式的标准和软件。气候数据通常有3个维度x和y分别代表地球表面和时间上某个点或网格单元的经纬度位置,第三个维度通常存储温度、湿度、降水量或风向等数据值。我们可以使用netCDF4 读取NC格式文原创 2022-01-29 11:28:32 · 2784 阅读 · 0 评论 -
【python pywin32】import win32api ImportError: DLL load failed: 找不到指定的程序。
启动jupiter 发生错误。解决办法:pip install pywin32==223原创 2021-12-17 16:26:44 · 441 阅读 · 0 评论 -
【机器学习 pycaret神器】PyCaret是一个超级有用的Python库
PyCaret是一个超级有用的Python库,使用PyCaret构建机器学习模型。用于在短时间内执行多个机器学习任务,依赖PyCaret在几行代码中可以构建复杂的机器学习模型,适合数据分析和新手小白,不需要写太多代码,也适合入门的算法工程师。PyCaret是Python中一个开源的机器学习库,它可以帮助你从数据准备到模型部署。它很容易使用,你可以用一行代码完成几乎所有的数据科学项目任务。PyCaret非常方便。以下是两个主要原因:PyCaret是一个代码库,它使你的工作效率更高。你可以在代码上花更少的原创 2021-12-17 16:15:30 · 1129 阅读 · 0 评论 -
【python pdf 文件下载】给定pdf url下载pdf文件
python从url获取pdf文件并保存在本地,主要思路如下:1、借助requests下载文件2、将文件转换为字节流3、将字节流保存在本地# -*- coding: utf-8 -*-import ioimport requestsdef download_pdf(save_path,pdf_name,pdf_url): send_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)原创 2021-12-16 00:57:58 · 302 阅读 · 1 评论 -
【pandas 数据框操作】dataframe中如何筛选列包含特定字符串
dataframe的某一列均为字符串格式,想筛选出含有特定字符串的行,具体实现代码如下:data1=df[df['标题'].str.contains('摘要')]#这是使用语法,模糊匹配df[ df['通信名称'].str.contains('联通|移动|小灵通|电信')] #这一种方法不是匹配,而是等于后面列表中的值,要注意区别df[ df['通信名称'].isin(['联通','移动','小灵通','电信'])]包含的字符串比较多时就用’|‘管道符隔开那如果是不包含呢,取出不包含这些原创 2021-12-16 00:27:33 · 2787 阅读 · 0 评论 -
【python 数据框apply】数据框多列计算调用apply函数
自行创建文本文件score.txt,其中存储了如下所示若干学生的姓名、学号和3门考试课的成绩。编程将所有两门以上(含两门)课程不及格的学生信息输出到文件 fail.txt、其他学生信息输出到pass.txt。张三,10086,66,77,88李四,10087,87,87,78王二,10088,65,47,88麻子,10089,30,20,88这里我们用数据框来操作,先统计三门课不及格的科目。再调用数据框的apply 函数。(很有用的函数哦)# -*- coding: utf-8 -*-imp原创 2021-12-15 10:11:38 · 216 阅读 · 0 评论 -
【python 执行JS脚本】python下PyExecJS执行JS脚本
pip install PyExecJS from: zhto: enquery: 你好,世界transtype: translangsimple_means_flag: 3sign: 933122.712243token: dbd20560b74a43d1c5c2aec1401ce885domain: common完整代码如下:# -*- coding: utf-8 -*-import execjswd="你好,世界"#取sign,用到了execjs模块def getS原创 2021-12-14 11:15:20 · 1070 阅读 · 0 评论 -
【python pycld3安装】win 10安装python库pycld3报错
报错信息:需要protoc,从python 扩展安装包里面只找到了pycld2既然我们想要安装pycld3,那么如何解决呢?是不是就没有办法呢?1、下载 protoc 工具 下载地址2、解压后将bin 目录下的 protoc.exe 放在安装python 的 Scripts目录下3、再次运行 pip install pycld3依然报错: c:\users\laidefa\appdata\local\temp\pip-install-yzgy87qq\pycld3_c3ccca39f原创 2021-12-10 11:30:55 · 774 阅读 · 0 评论 -
【wondws bat命令】windows 关闭指定cmd 窗口命令
windows 10 下 通过编写bat命令,关闭正在运行的窗口。并重启。@echo offset CLASSPATH=%CLASSPATH%; set PATH=%PATH% set JAVA_HOME=%JAVA_HOME%E:taskkill /f /im supervisord.execd E:\supervisordsupervisord.exe@pause这段代码的意思是先kill 掉进程窗口,再重启进程windwow10 查看进程的命令,tasklist原创 2021-12-09 10:02:23 · 1097 阅读 · 0 评论 -
【windows 定时任务开启】windows 定时执行python脚本和java脚本
linux 下可以通过crontab 定时任务设置,那么windows 下该如何实现定时任务呢?下面我们一起学习下windows的操作。1、假如要执行java程序,可以先把执行java的程序先编译好,在编译好的目录新建一个bat文件。如:rtsp.bat@echo offset CLASSPATH=%CLASSPATH%; set PATH=%PATH% set JAVA_HOME=%JAVA_HOME%d:cd D:\java_project \java rtspexit@pa原创 2021-12-06 15:29:58 · 196 阅读 · 0 评论 -
【python 项目打包】对python程序打包成exe文件
python打包成exe文件的方法方法1:常规骚操作,pyinstaller 打包,前提需要安装pyinstaller,进入项目路径进行打包操作(命令方式)pip install pyinstallerpyinstaller.exe --onefile --windowed main.py (单文件,单窗口)pyinstaller.exe --noconsole --onedir --windowed main.py (多文件,多窗口)Pyinstaller -F -i xx.ico原创 2021-12-06 11:05:49 · 1668 阅读 · 0 评论 -
【python mat文件】python中如何读写mat文件
目标:python读写matlab .mat 矩阵文件。读操作需要导入scipy.io模块中的loadmat:核心: x1=loadmat(file_path+'%s'%file_name)写操作需要导入 scipy.io 模块中的 io:核心: io.savemat(save_mat_path+'%s'%file_name, {'name': x2})完整例子:# -*- coding: utf-8 -*-from scipy.io import loadmatimport sc原创 2021-12-06 10:54:46 · 81 阅读 · 0 评论 -
【python selenium 渲染工具】webdriver设置无界面化以及配置参数
上一篇文章介绍了【python selenium 渲染工具】driver = webdriver.Chrome()报错这篇文章我们继续学习下selenium 这个自动化工具webdriver的配置和设置# -*- coding: utf-8 -*-import jsonfrom selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsimport chardet# url="https://原创 2021-12-02 18:45:15 · 741 阅读 · 0 评论 -
【python selenum渲染工具】driver = webdriver.Chrome()报错
driver = webdriver.Chrome()是因为没有chromedriver.exe这个文件解决方法:(1)下载一个chromedriver.exe 下载的链接为:官方下载网站点击第一个,点进去(浏览器要跟这个版本对应上)windows 只有一个32位的,没关系,32位的也可以用。下载下来解压,里面有一个 chromedriver.exe文件,将这个文件放在你运行pthon 安装路径的Scripts下面如我的是这个路径:D:\Programs\Python\Python3.原创 2021-12-02 10:44:55 · 134 阅读 · 0 评论 -
【python 爬虫乱码】request请求返回json乱码如何解决
请求网页返回json 往往出现乱码,那么如何解决呢,举个例子,# -*- coding: utf-8 -*-import requestsimport jsonurl="https://www.phei.com.cn/module/goods/zxsj.jsp?cache=true&cacheKey=wssd_Rec_New_%E8%AE%A1%E7%AE%97%E6%9C%BA&shownum=8&type=%E8%AE%A1%E7%AE%97%E6%9C%BA"con原创 2021-12-02 10:19:43 · 781 阅读 · 0 评论 -
【python 油价爬虫】杭州油价爬虫出现byte乱码问题解决
使用request.get() 发起请求,返回结果竟然是byte 开头的 乱码,该如何解决呢?乱码转换关键:typeEncode = sys.getfilesystemencoding()infoencode = chardet.detect(content).get('encoding', 'utf-8')html = content.decode(infoencode, 'ignore').encode(typeEncode)res=html.decode('ascii',errors='ig原创 2021-12-01 10:10:30 · 385 阅读 · 0 评论 -
【python 错误】next run at: 2021-11-04 14:24:30 CST)“ skipped: maximum number of running instances reach
当我们使用from apscheduler.schedulers.blocking import BlockingSchedulerBlockingScheduler调度任务时,出现如下错误:next run at: 2021-11-04 14:24:30 CST)" skipped: maximum number of running instances reached (1)如何解决:将max_instances设置大一点。sched.add_job(run_job, 'cron', min原创 2021-11-19 21:14:59 · 598 阅读 · 0 评论 -
【python ascii码转中文】1分钟教你编码转换
核心:ascii 转中文print(name.encode().decode('unicode_escape'))一开始发起请求:information = requests.get(information_url,headers=header).textprint(information)出现乱码,经过查看发现是ascii 码information信息如下:jQuery191040122200903040794_1635653294983({"status":1,"err_code":原创 2021-11-01 12:16:29 · 231 阅读 · 0 评论 -
【python 下载神器】你应该知道的下载神器you-get
you-get是基于python的下载工具,解析的网站有很多,可以下载各大网站的视频、图片和音乐。you-get是一款支持众多网站视频下载的神器,既可以在命令提示符中操作,也可以在Python代码中运行。功能非常强大。如果你电脑装了python,那么只需要安装如下依赖包即可以。安装包:pip install you-get这个工具支持下载的视频 有抖音,斗鱼,哔哩哔哩,豆瓣,百度视频,优酷,腾讯视频,新浪视频等等下面我们来具体演示下操作:1、下载bilibili 视频C:\Users\lai原创 2021-08-22 11:47:45 · 153 阅读 · 0 评论 -
【python 调用webserver】python请求调用webservices接口方法
python webservice接口调用,可以用requests包发起post请求方式,此方法稍微区别是data是XML格式数据。config.pyfrom hashlib import md5import datetime# 请求地址url="http://10.66.3.19:6039/BaseDataService.asmx"# XML请求参数#时间戳# timeStamp=datetime.datetime.now().strftime('%Y%m%d%H%M%S')tim原创 2021-04-12 18:52:16 · 187 阅读 · 0 评论 -
【python 求解方程组】10分钟教你python求解多元一次方程组
python 求解三元一次方程组,三元一次方程组为:k00+k11*2+k22*5=11k00+k11*7+k22*6=2k00+k11*6+k22*9=7demo:from sympy import *k00 = Symbol('k00')k11 = Symbol('k11')k22 = Symbol('k22')# 解三元一次方程f0=k00+k11*2+k22*5-11f1=k00+k11*7+k22*6-2f2=k00+k11*6+k22*9-7r = solv原创 2021-03-04 15:39:08 · 1872 阅读 · 2 评论 -
【技术 美团】美团2020技术年货,1300+页电子书
无意中发现了一个巨牛的人工智能教程,忍不住分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。点这里可以跳转到教程。人工智能教程2020年,美团技术公众号发布了60多篇技术文章以及10多篇国际顶会论文,美团将它整理成一本厚达1300多页的电子书。大家可以去下载看看。这本电子书内容覆盖前端、后台、算法、数据、运维、安全等多个领域, 希望对同学们的工作和学习有所帮助,如下图。获取地址:2020美团技术年货-合集:http://dpurl.cn/uu原创 2021-03-03 10:22:56 · 194 阅读 · 0 评论 -
【python socket】基于TCP协议的socket
tcp是基于链接的,必须先启动服务端,然后再启动客户端去链接服务端服务端:import socketsk = socket.socket()#把地址绑定到套接字sk.bind(('127.0.0.1',8897))#监听链接sk.listen()#接受客户端链接conn,addr = sk.accept()# 接收客户端信息ret = conn.recv(1024)#打印客户端信息print(ret.decode('utf-8'))# 向客户端发送信息conn.send(b.原创 2021-03-02 14:24:27 · 83 阅读 · 0 评论 -
【python protobuf】python将protobuf序列化与反序列化byte字节流
如何protobuf序列化数据,见上一篇:基于protobuf协议将json转化为pb string,将pb string转成json下面这篇文章介绍如何序列化与反序列化 byte字符串,跟上一篇文章稍微不一样。from example import openrtb_pb2from google.protobuf import json_formatimport jsonimport datetimedef pb_to_json(pbStringRequest): """将pbstri原创 2021-03-01 17:08:47 · 2730 阅读 · 0 评论 -
【python kafka】python将protobuf序列化数据写入kafka
如何protobuf序列化数据,见上一篇:【python protobuf序列化】python中如何protobuf与json互相转换下面这篇文章研究如何将json序列化之后protobuf格式之后,按照byte字节流的方式写入kafkafrom kafka import KafkaProducerimport jsonimport datetimefrom example import openrtb_pb2from google.protobuf import json_formatim原创 2021-02-24 15:28:42 · 689 阅读 · 1 评论 -
【python protobuf序列化】python中如何protobuf与json互相转换
一、protobuf下载安装下载地址:https://github.com/protocolbuffers/protobuf/releases电脑系统是windows10, 下载protoc-3.15.2-win64.zip 解压到相应的目录D:\Program Files下,然后配置环境变量pathD:\Program Files\bin 加入path二、新建目录example新建文件openrtb.proto 内容如下:syntax = "proto3";package prot原创 2021-02-24 14:55:29 · 4015 阅读 · 0 评论 -
【python kafka】python 连接kafka速成
Python Kafka Client有三种方式:pykafka、kafka-python 和 confluent-kafka,具体介绍见官网:pykafka: https://pypi.org/project/pykafka/kafka-python: https://pypi.org/project/kafka-python/confluent_kafka: https://pypi.org/project/confluent-kafka/安装包:pip install pykafkapi.原创 2021-02-23 15:46:04 · 170 阅读 · 0 评论 -
【python 画图】Python-matplotlib-中文字体显示和设置
字体需要显示中文,需要加上下面这三句:import matplotlib.pyplot as plt# 设置matplotlib正常显示中文和负号plt.rcParams['font.sans-serif']=['SimHei'] # 用黑体显示中文plt.rcParams['axes.unicode_minus']=False # 正常显示负号相关性热力图import pandas as pdimport seaborn as snsimport matplotlib.py原创 2021-01-27 14:23:01 · 706 阅读 · 0 评论 -
【python libsm6错误】ImportError: libSM.so.6: cannot open shared object file: No such file or directory
错误1:ImportError: libSM.so.6: cannot open shared object file: No such file or directoryraceback (most recent call last): File "test.py", line 3, in <module> import easyocr File "/root/anaconda3/envs/model/lib/python3.7/site-packages/easyocr/_原创 2021-01-12 09:39:30 · 417 阅读 · 0 评论 -
【企业微信 报警机器人】python10分钟制作一个企业微信报警机器人
第一步:创建一个企业微信群,鼠标右键添加机器人 ,然后把机器人的url 复制出来第二部:将url 填入dsj_url# -*- coding: utf-8 -*-# author:laidefaimport requestsimport jsondef send_msg(dsj_url,send_message): data1=json.dumps({'msgtype':"text", "text":{ "原创 2021-01-11 11:05:21 · 446 阅读 · 1 评论 -
【python dash】纯Python构建数据可视化app的理想选择
Dash是比较新的软件包,它是用纯Python构建数据可视化app的理想选择,因此特别适合处理数据的任何人。Dash是Flask,Plotly.js和React.js的混合体。Dash 建立在 Plotly.js、React 和 Flask 之上,将现代 UI 元素(如下拉列表、滑块和图形)与你的 Python 代码相结合。类似R语言的shiny,matlab 的GUIDE功能模块。一、安装dash包pip install dash==1.18.1...原创 2020-12-31 09:40:33 · 600 阅读 · 1 评论 -
【python 调用DLL库】python使用ctypes库调用DLL动态链接库
python 可以调用C++的DLL 动态链接库,从而达到与c++语言交互的目的。python调用C++编译生成的DLL动态链接库,我们需要借助ctypes库。ctypes是一个用于Python的外部函数库,它提供C兼容的数据类型,并允许在DLL或共享库中调用函数。假如我们在外面定义了一个myTest.dll文件,计算两个数之和。那么 我们python 如何调用DLL文件呢。下面是具体的方法,代码也是比较少,引入ctypes包即可。from ctypes import *# -------原创 2020-12-30 11:21:32 · 559 阅读 · 0 评论 -
【base64 图片转换】python base64格式与图片之间的互相转换
# 图片转换成base64def picture2base(path): with open(path, 'rb') as img_file: img_b64encode = base64.b64encode(img_file.read()) s = img_b64encode.decode() resbase64='data:image/jpeg;base64,%s' % s return resbase64# base64转换原创 2020-12-01 19:02:02 · 532 阅读 · 0 评论 -
【python docker部署】docker 部署 Flask服务
Docker是一个用于开发,发布和运行应用程序的开放平台。Docker使您能够将应用程序与基础架构分开,从而可以快速交付软件。借助Docker,您可以以与管理应用程序相同的方式来管理基础架构。通过利用Docker的方法来快速交付,测试和部署代码,您可以大大减少编写代码和在生产环境中运行代码之间的延迟。1、docker安装一键安装命令:curl -sSL https://get.daocloud.io/docker | sh2、docker 部署Flask 服务创建文件夹docker_test,执原创 2020-09-30 13:07:39 · 351 阅读 · 0 评论 -
【python 读取hbase数据】happybase 轻松读取hbase数据集
HappyBase是开发人员友好的Python库,可与Apache HBase进行交互。HappyBase设计用于标准HBase设置,并为应用程序开发人员提供了Pythonic API以与HBase进行交互。在表面之下,HappyBase使用Python Thrift库通过其Thrift网关连接到HBase ,该网关包含在标准HBase 0.9x版本中。这个包非常好用,简单高效读取。官方文档学习点这里import happybaseconnection = happybase.Connection原创 2020-09-27 18:54:45 · 1070 阅读 · 0 评论 -
【pip 错误】No module named ‘pip._internal‘ 解决
pip 坏了,先执行python -m pip install --upgrade pipcmd下,输入如下命令: curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python get-pip.py --force-reinstall即可解决。原创 2020-09-27 18:33:16 · 2517 阅读 · 4 评论