- 博客(97)
- 收藏
- 关注
RSS订阅原创 sklearn线性回归完成多次项函数和正弦函数拟合
这样两个式子，使用sklearn 线性回归进行拟合 直接上代码得到结果：score : 0.9902512046606555mse : 7940.310765934783画图结果：对于正玄曲线原始数据画图 degree定成三阶拟合图 degree定成二阶拟合图degree定成六阶拟合图，效果非常好，但不知道是不是有点过拟合了、? 话不多说，直接上代码：...
2022-07-13 15:05:23
876
原创 sklearn线性回归拟合一次项函数
这样一个式子y = ax+by = 0.5x+6 + 随机数噪音数据分为训练集和测试集train_set 70%test_set 30%直接上代码得出结果：得出图像红点代表原数据样本，绿点代表模型预测结果
2022-07-13 14:47:22
336
原创 python读取RS485接口的TH10S-B温度传感器数据
准备TH10S-B温度sensor一个准备RS485 USB转换器一个 连线，插到电脑USB口，设置端口：可以用商家的软件测试下传感器是否正常：进入正题，解析RS485数据首先安装serial包，使用serials.Serial()时我遇到个错误报错module 'serial' has no attribute 'Serial'解决办法，卸载serial，重新安装pyserial正式代码如下： 安装完运行结果：TH10S-B厂商手册对返回收据解析说明如下：实际上我看不懂这个手册。哈哈问了商家，
2022-07-07 17:39:55
4508
6
原创 python爬山算法解决八皇后问题
问题表述为：在8×8的国际象棋棋盘上摆放8个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同一斜线上，问有多少种摆法 使用爬山算法解决八皇后问题，思路：1. 先初始化皇后位置，使得每一行每一列一个有且仅有一个皇后2. 计算冲突的皇后数量(计做冲突值)，比如同一行、同一列、同一斜线的数量3. 准备移动皇后，但是往哪移动呢？每一行皇后只能在自己所以行移动，所以只有列会改变 比如把第一行皇后从（0,1）移动到（0,0），那么整个棋局的冲突值会发生改变（假设冲突值变小了6->5），此时记录为
2022-07-04 17:36:39
1184
原创 python爬山算法求函数值
爬山算法求函数值算法思路说明：没时间了。。。明天再说 运行结果：0 [0.4, 0.4] 0.72614903707369081 [0.30000000000000004, 0.30000000000000004] 0.8352702114112722 [0.20000000000000004, 0.20000000000000004] 0.92311634638663583 [0.10000000000000003, 0.10000000000000003] 0.980198673306755
2022-06-28 17:56:14
296
原创 Error occurred when finalizing GeneratorDataset iterator: Failed precondition: Python interpreter st
使用tensorflow.keras模型训练时这个错误经常报：tensorflow/core/kernels/data/generator_dataset_op.cc:107] Error occurred when finalizing GeneratorDataset iterator: Failed precondition: Python interpreter state is not initialized. The process may be terminated. [[{{nod
2022-04-20 14:39:54
11109
4
原创 windows家庭版关闭windows defender
有时候这个windows defender非常占用内存资源，我用的是win11家庭版, ，网上常用的gpedit.msc组策略没法使用。所以使用修改注册表方式关闭。关闭方式如下:1.打开CMD 管理员权限，key入如下命令reg add：C:\Windows\system32>reg add "HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Microsoft\Windows Defender" /v "DisableAntiSpyware" /d 1 /t R
2022-04-01 10:05:08
2652
原创 errors_impl.AlreadyExistsError: Another metric with the same name already exists.
errors_impl.AlreadyExistsError: Another metric with the same name already exists.今天在导包keras包时，总是报上面这个错误，说已经keras文件名重复import keras也不行。from tensorflow import kerasfrom tensorflow.keras.applications.vgg16 import VGG16网上查询各种方法，最后检查我安装的tensorflow-gpu
2022-03-25 21:06:28
2842
原创 NVIDIA安装/卸载程序无法继续，解决办法
因为笔记本要重装低版本的CUDA，要卸载原来的11.0版CUDA，卸载NVIDIA相关程序时弹出对话框 NVIDIA安装/卸载程序无法继续，说有其他安装程序正在进行。网上搜了很多方法，最终解决办法如下win+r 输入 services.msc打开服务，找到Task Scheduler，开启服务如果无法开启，找个记事本输入如下内容，命名timebroker.reg然后双击timebroker.reg, 重启电脑后进到服务器中打开Task Scheduler和Time Broker...
2022-03-21 16:36:16
4618
原创 CNN迁移模型图片分类完整案例使用，base vgg16
准备训练图片，和测试图片对模型trainingimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras.preprocessing.image import ImageDataGenerator,load_img,img_to_arrayfrom tensorflow.keras.applications.vgg16 import preprocess_inputfrom tensorflow
2022-03-18 17:49:04
1415
原创 使用VGG16模型测试图片识别，基于CNN卷积神经网络
首先网上找了7张图打算对这7张图片进行识别，直接上代码：from tensorflow.keras import applications#decode_predictions 对预测结果进行处理，解码from tensorflow.keras.applications.vgg16 import decode_predictions#preprocess_input处理输入图片from tensorflow.keras.applications.vgg16 import preproc
2022-03-16 21:24:49
2398
原创 WIN10+CUDA11.0+anaconda3+tensorflow-gpu2.4.0安装过程
CUDA 11.0 cuDNN 8.0 python 3.8 MS visual studio2019tensorflow_gpu 2.4.0 Bazel 3.1.0anaconda3
2022-03-13 14:19:29
3710
原创 基于tensorflow keras使用卷积神经网络CNN完成图片分类
本人原来的笔记本配置不行，跑不起来，换了台式电脑运行正常，具体台式配置会另外写一篇安装tensorflow2.4.0教程直接上代码，一共重复训练7次from tensorflow.python.keras.datasets import cifar100from tensorflow import kerasimport tensorflowclass CifarCNN(object): #编写模型 两层卷积层+两层池化层+全连接神经网络层 model = keras.mo
2022-03-13 11:57:07
2138
原创 使用基于tensorflow keras完成fashion_mnist图片分类，并在tensorboard可视化
在获取时尚数据时遇到问题，连不上下载的网站导致图片无法加载，此时需要自己另外找网站下载压缩包并放入对应目录即可C:\Users\RayLu\.keras\datasets\fashion-mnist def __init__(self): (self.x_train,self.y_train),(self.x_test,self.y_test) = keras.datasets.fashion_mnist.load_data()全部码如下import numpyi.
2022-03-10 13:34:42
388
原创 树莓派 -- 使用ds18b20温度传感器采集温度数据，系统配置
1 首先硬体链接图：我的实际连接图：2 进入树莓派，配置configsudo nano /boot/config.txt末尾加入一行总线配置： dtoverlay=w1-gpio重启树莓派 sudo reboot然后数据下面命令配置：出现00-80000000000xxxx表示传感器有问题，需要更换传感器或者重新连线(也有可能传感器未供电)正...
2019-06-20 15:45:04
2476
原创 树莓派系统烧录及wifi配置及VNC远程连接
1 烧录工具： Win32DiskImager2 系统镜像： 可以在官网下载3 打开烧录工具，把要烧录的TF卡格式化后开始烧录：4 烧录完毕，打开TF卡中config.txt，在末尾添加代码打开串口：enable_uart=15 把TF卡插入树莓派，对树莓派连接串口USB硬件，如图：6 安装USB转串口CH340驱动包，然后在电脑设备管理中查看端口号...
2019-06-10 17:10:51
913
原创 python FTP上传和下载
近期写一个程序需要上传到公司file server，具体程式如下#test ftp uploadimport ftplibhost='172.30.200.200'username = " xxxx"password = "password"file = "123.txt"#实例化FTP对象fp = ftplib.FTP(host)fp.login(user=usern...
2019-04-18 15:09:33
481
原创 python 使用pandas完成类似excel数据透视表（枢纽分析）功能
一 excel数据透视表非常好用，如何使用pandas pivot完成类似任务，公司正好需要用到此功能，mark下. 首先看任务：1.原始数据格式，有很多行，几万行都有可能：2.目标完成的数据格式：二。python实现代码：import pandas as pdimport numpy as np#方便看所有列名pd.set_option('displa...
2019-03-29 17:00:33
4987
原创 echarts画折现图，要点：时间戳转换strf，echarts折线图相关属性
近期在公司实现在线实时监控特性报表系统，还没有完成，中间有部分知识点记录先看看效果，发现数据还是有些问题，后期准备用pandas进行数据清洗：views核心代码：from django.shortcuts import render,redirect,HttpResponsefrom datetime import datetime,timedeltafrom perep...
2019-02-01 17:10:29
2830
原创 echarts折线图 及 水平线（上下线） markline
option = { xAxis: { type: 'category', data: ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun'] }, yAxis: { type: 'value', mi...
2019-01-30 16:16:59
7058
原创 python 打开当前目录所有文件(excel等)，解决文件名包含空格问题，并用pyinstaller打包成exe
cmd窗口执行命令 start xxx.file 时如果文件名带空格解决办法, 中间多打两个双引号：start " " "xx xx xxx.xls"import osfile_path = os.path.dirname(os.path.abspath(__file__))ret = os.listdir(file_path)for item in ret: t...
2019-01-25 11:59:43
1422
原创 git学习及git hub使用
一。git使用：1 提交到git暂存区： git add xxx.py2 提交到git仓库: git commit -m 'this is a mark'3 查看修改状态: git status4 git暂存区回滚到工作区: git checkout xxx.py5 查看历史记录： git log6 查看历史提交记录，只看md5和提交mark: git log --pre...
2019-01-12 17:35:57
5461
原创 scrapy 自定制全部爬取命令，另外详解settings.py中各配置参数含义
一. scrapy 自定义 同时启动全部爬虫命令1. 在spider同级目录建一个文件夹，如：customcommand2.在文件夹内建立 crawlall.py3. crawlall.py内容如下：from scrapy.commands import ScrapyCommandfrom scrapy.utils.project import get_project_sett...
2019-01-06 14:26:01
955
原创 scrapy 自定义扩展extensions
#框架扩展，在某些位置加入自定制功能,类似于面向切面编程#参考原扩展类自定义类#from scrapy.extensions.telnet import TelnetConsole自定义extensions.pyfrom scrapy import signals#框架扩展，在某些位置加入自定制功能#from scrapy.extensions.telnet import ...
2019-01-05 23:50:16
1082
原创 scrapy爬虫带cookie自动登录网站并对所有帖子点赞
这里登录抽屉并对所有帖子点赞,账号密码就不透漏了，哈# -*- coding: utf-8 -*-import scrapyfrom scrapy.http.cookies import CookieJarfrom scrapy.http import Requestfrom scrapy.selector import Selectorclass ChoutioSpider(s...
2019-01-05 23:00:15
902
原创 scrapy 爬虫有些网站爬不了： Forbidden by robots.txt
有些网站爬不了，爬虫会自动终止，观察错误代码：2019-01-05 21:57:21 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:60232019-01-05 21:57:21 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://...
2019-01-05 22:04:05
1658
原创 scrapy批量爬取校花网图片并保存到本地
1. 校花网对爬虫浏览器（User-Agent）有限制，如果强行多次爬取会报错，IP被封禁：Connection was refused by other side: 10061: 由于目标计算机积极拒绝，无法联机解决办法：加入Headers, 可以加入动态header和动态代理IP，防止频繁爬取数据IP被封:一般如果已经被封了，过1小时左右就可以自动解封.2.spider中建...
2019-01-05 18:05:12
733
原创 scrapy 爬取论坛帖子名称及链接（递归方式获取）
本文主要爬取西安论坛帖子，如果要爬取内容及评论热度等可以再深入爬取首先建立spider xi'an，命令 scrapy genspider xian ixian.comxian.py内容：import scrapyfrom scrapy.selector import Selector,HtmlXPathSelectorfrom scrapy.http import Reques...
2019-01-05 13:24:50
1614
原创 python scrapy 对爬虫爬到的url 进行md5加密
MD5是文件的“数字指纹”，加密作用很多：校验文件、校验密码等比如对爬虫爬到的url进行加密：# -*- coding: utf-8 -*-import scrapyfrom scrapy.selector import Selector,HtmlXPathSelectorimport sys,io,hashlibclass ChoutiSpider(scrapy.Spider...
2019-01-04 22:03:39
1434
原创 python cx_oracle使用dsn方式连接oracle数据库
最近连接公司oracle数据库取一些数据，发生很多问题，这里做下记录如果公司已经配置好了ServiceName,那么就不需要IP和Port, 因为可以自动解析出来Oracle Net 工具（命令）tnsping，是一个OSI会话层的工具，它用来：1）验证名字解析（name resolution，当然是oracle自己的网络服务名）2）远程的listener是否启动tnsping...
2018-12-25 18:37:49
2784
原创 python3 pip离线安装包模块
这几天离线安装python模块，遇到很多坑，记录下关键点：注意： 安装包如果有依赖包时必须先安装依赖包源码安装:1 首先解压tar.gz文件，cd切换到setup.py目录，执行命令：python setup.py install2 安装whl文件， 先把要安装的xxx-x.x.x.whl文件放在D:\soft：pip install xxx --no-index --fi...
2018-12-25 18:15:48
2650
原创 python logging模块书写日志，并对日志进行分割
范例是书写两个日志：错误日志（ERROR级别）和运行日志（DEBUG级别），其中运行日志每日凌晨进行分割import logging,datetime,logging.handlersfrom conf import settingsif __name__ == "__main__": #两个日志，错误日志和运行日志，输出文件路径及文件名 error_log = set...
2018-12-23 22:16:59
1622
原创 pycharm 导入模块时红色波浪线，但是程序可以正常运行，解决办法
遇到一个问题，搞了很久，记录一下：在pycharm项目目录下面导入自己写的模块时，得不到智能提示及自动跳转，下面也有红色波浪线，但是可以正常运行目录结构：test.py内容：如果在前面加.直接报错，改成这个直接运行报错：from .memo import MemoPlugin解决办法：从最上层资料夹导入即可解决from src.memo import MemPlugin...
2018-12-23 20:07:05
4578
原创 saltstack 监测不到minion ip问题解决
关闭防火墙即可(centos7命令)：sudo systemctl stop firewalld.service当然之前必须先在master机上配置ip1. 修改master,绑定自己ipvim /etc/salt/master 然后修改里面的interface,注意冒号后边有空格： interface： 192.168.101.1302. 修改slave上的minion,绑...
2018-12-23 01:30:16
1314
原创 python3 使用线程池、进程池完成多线程、多进程任务
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor #线程池，进程池import threading,timedef test(arg): print(arg,threading.current_thread().name) time.sleep(1)if __name__ == "...
2018-12-22 20:55:57
11617
原创 python3 split rsplit splitline函数用法
split: 从左往右分割rsplit:从右往左分割splitline: "\n"分割一 split rsplit 简单示例：str_temp = "aaa.bbb.cc.dd"ret1,ret2 = str_temp.rsplit(".",maxsplit=1)ret3,ret4 = str_temp.split(".",maxsplit=1)ret5,ret6,ret...
2018-12-22 12:57:57
3370
原创 python 通过反射获取配置文件 中的类
首先目录结构，conf文件夹的settings.py配置文件中配置两个类路径，写一段程序读取这个配置文件，并将类路径实例化成对象执行相关功能..1.配置文件 settings.py：MODE = "RAYLU"FUNC = { "customer":"src.customer.Customer", "sales":"src.sales.Sales",}2.配...
2018-12-22 12:45:40
1691
原创 linux环境安装python3.7
我用的是linux centos 61 首先安装依赖包，确认gcc是否安装，可以用查看： gcc --version 2.如果没有则进行安装，需要sudo权限：yum -y install gcc 3.安装其他依赖包(可以不安装，但是可能会安装过程中报错)：yum -y install zlib-devel bzip2-devel openssl-devel ncurse...
2018-12-21 21:40:26
8198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人