肆小猿的博客

原创 (二) python爬虫验证码识别（去除干扰线）

（二）python爬虫验证码识别（去除干扰线）钉钉钉~继完成第一波的任务之后，又来第二波了！！！！！！1.开发环境与工具python27：sklearn、pytesser、opencv等pycharmwindows72.数据集 欢迎使用Markdown编辑器写博客本Markdown编辑器使用...

原创 (一)python爬虫验证码识别（去除干扰线）

论如何用python识别验证码（干扰线类型）1.开发环境与工具python27：sklearn、pytesser、opencv等pycharmwindows72. 数据集 用request库爬虫抓取某一网站验证码1200张，并做好标注3.验证码识别大概步骤转化成灰度图去背景噪声图片分割(1)转化成灰度图im = cv2......

原创 pip下载包报错ERROR: No matching distribution found for xxx时的解决方案

当我们使用python自带的pip安装一些包时，可能会报以下错误：出现这种情况有三种可能：pip的版本过低，需要升级一下，可以执行以下命令进行尝试第二种可能：考虑可能是网速的原因，这时可以采用国内的镜像源来加速ps ：–trusted-host pypi.douban.com 这是为了获得ssl证书的认证常见pip镜像源（国内源）清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.aliyun.com/pypi/simpl

原创 pycharm pyqt5 gui designer 安装及配置使用

Widget Box控件工具箱是按照控件作用类别进行划分的。这里作为实现入门级界面实现，主要介绍最常使用的控件及控件对象相关函数。函数方法知道怎么获取控件输入内容以及如何将后台操作结果输出到界面控件显示的主要函数就可以了。1.显示控件Lable：文本标签，显示文本，可以用来标记控件。Text Browser：显示文本控件。用于后台命令执行结果显示2.输入控件，提供与用户输入交互Line Edit：单行文本框，输入单行字符串。控件对象常用函数为Text() 返回文本框内容，用于获取输入。

转载 Superset安装部署（docker版）-转载

docker install superset

原创 python 实现自动批量下载腾讯在线excel

[video(video-INuFGEWF-1630055818261)(type-undefined)(url-undefined)(image-https://img-blog.csdnimg.cn/editor-video.png)(python 批量下载腾讯在线文档)]

原创 批量查看端口对应进程信息

#!/bin/bashfor port in 8302 8777do sudo netstat -anp|grep -w $port; ps -aux|grep `sudo netstat -anp|grep -w $port|awk '{printf $7}'|cut -d/ -f1`;done

原创 Superset接入mysql数据源

转载文章: https://www.jianshu.com/p/6bc9a1a3cb0f 参考来源：https://www.jianshu.com/p/6bc9a1a3cb0f   Superset默认使用的是sqllite，如果需要mysql，可先安装mysql客户端模块，具体安装和使用步骤如下 一、安装：pip install mysqlclient 安装 pip insta

原创 Centos下安装superset完整安装教程

Centos下安装superset1.环境准备Anaconda安装教程# centos系统准备[ctyun@centos--tt3hyyagh1 ~]$ cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core)# 安装anaconda，详细参考上述Anaconda安装教程[ctyun@centos--tt3hyyagh1 ~]$ conda -Vconda 4.6.11# 创建虚拟环境[ctyun@centos--tt3

转载 Linux-Centos7下安装Anaconda（转载）

Linux-Centos7下安装Anaconda转载：Linux-Centos7下安装Anaconda（2019年新版）其实已经在linux系统下搭过很多次Anaconda3+Tensorflow/Keras环境了，而且Anaconda的安装真的很简单，但今天在新服务器上安装时还是有些卡壳，所以决定整理一下供自己今后参考。环境：Centos 7Part1. 下载Anaconda直接在官网下载挺慢的，建议使用清华镜像（可以把pip的源也换成国内的，pip install也会快很多）：Tsinghua Op

原创 python大量数据去重

python大量数据去重实现功能：实现excel表中筛选重复项，对重复项排序取第一个保留。由于excel表处理大批量数据的时候耗时比较久，且容易卡死，十几万的数据便需要几十个小时，该脚本可以在几分钟内快速处理完并一次性输出数据，有效减少耗时及人力。供参考。# -*- coding:utf-8 -*-# 导入pandas包并重命名为pdimport pandas as pd# 读取Excel中Sheet1中的数据，并且导出data = pd.DataFrame(pd.read_excel('.

转载 Jenkins自动打包并部署到远程服务器

【转发】原文链接：https://blog.csdn.net/qq_33157666/article/details/86735906 Jenkins自动打包并部署到远程服务器 一、Jenkins简介Jenkins是一个开源软件项目，是基于Java开发的广泛用于持续构建的可视化web工具，就是各种项目的的“自动化”编译、打包、分发部署，将传统编译、打包、上传、部署到Tomcat中的过程交由Je

原创 mysql基础-xmind笔记（总）

【说明】本博客主要是基于高新强《Mysql数据库基础入门》学习视频的笔记，便于平时查找温习mysql基础知识，如有需要可移步原创视频进行学习。【课程名】：Mysql数据库基础入门【课程视频】：http://b.edu.51cto.com/tyun/course/course-detail?courseId=15847【课程简介】本课程可以学习到Mysql数据库的基本使用,sql语言,多表操作...

原创 mysql基础-xmind笔记（五）

原创 mysql基础-xmind笔记（四）

原创 mysql基础-xmind笔记（三）

原创 mysql基础-xmind笔记（二）

原创 Mysql基础-xmind笔记（一）

原创 计算机网络基础知识汇总

名称参考链接备注ip地址和mac地址的区别https://blog.csdn.net/qq_43528087/article/details/89416498计算机网络中MAC地址与IP地址https://blog.csdn.net/kenjianqi1647/article/details/81636898arp协议https://blog.csdn....

原创 消息中间件学习--rabbitmq、kafka

序列名称链接备注1rabbitmqhttps://blog.csdn.net/wohu1104/category_9023593.htmlrabbitmqctl -h2kafka

转载 集线器、网桥、交换机、路由器、网关大解析

转载：source: https://www.tianmaying.com/tutorial/NetWorkInstrument集线器、网桥、交换机、路由器、网关大解析 交换机网桥网关集线器路由器 0  0 因为要做硬件防火墙，而本科学习的《计算机网络 自顶向下》基本上没有涉及到硬件部分，只是捎带讲了一下，每次提到硬件名词的时候，虽然大...

原创 如何让电脑不卡顿

1.windows 全磁盘扫描禁用2.性能评估3.自动磁盘整理关闭。（一般系统是默认设置定期整理）4.windows系统取消自动更新5.内存虚拟化磁盘。（只用了硬盘可尝试，ssd就不需要了）【内存虚拟硬盘】是指通过软件技术，将物理内存进行分割，将一部分内存通过虚拟技术转变为硬盘以较大幅度提升计算机数据读取速度和保护硬盘。RAMDisk Plus，这个软件就是把内存的一部分划分出来作为一...

原创 windows 定时后台运行python脚本

文章目录介绍一、window service方式实现代码问题解决二、.pyw后台运行方式参考链接：1.定时后台运行Python程序2.Python 写windows service 以及问题解决介绍大型程序中经常会需要定时运行某些任务，比如生成报表，发邮件等。如果我们需要将程序一直保持在后台运行，一般都会做成服务在后台运行，但是具体要如何实现呢？大致有两种方法一、window serv...

原创 python 获取当日时间+时间戳+相互转换

@ [toc]一、datetime与时间戳格式相互转换import datetimeimport time# 将datetime转换为unix时间戳dtime = datetime.date.today()unix_time = time.mktime(dtime.timetuple())print(dtime, unix_time) # 2019-09-02 15673536...

原创 Linux shell

文章目录1. linux vim 编辑器之多文件多窗口编辑2. 命令别名设置3.man4.type5.命令行换行执行6.echo（变量的显示和设置）7.read 读取来自键盘输入的变量8.[decare命令](https://www.runoob.com/linux/linux-comm-declare.html)9.变量内容的删除、替代和替换10.linux中cd / cd~ cd cd- 和c...

转载 IP地址、子网掩码、网络号、主机号、网络地址、主机地址以及ip段/数字-如192.168.0.1/24是什么意思?

背景知识在设置电脑IP时，会碰到两个重要的参数，一个是IP地址，一个是子网掩码。IP地址是互联网上每个子网或每个主机在网络上的唯一身份标签，那子网掩码是干什么用的呢？随着互联网的发展，越来越多的网络产...

转载 NAT(地址转换技术)详解(转载)

转载出处： https://blog.csdn.net/gui951753/article/details/79593307 目录NAT产生背景ip地址基础知识NAT技术的工作原理和特点静态NAT动态NATNAT重载（经常应用到实际中）NAT技术的优缺点优点缺点NAT穿越技术应用层网关（ALG）ALG的实际应用NAT技术的未来参考文献NAT产...

原创 删除CSDN上传资源

到CSDN客服贴吧留言删除资源，格式参考：

转载 django教程：基本操作笔记整理

原创 VMware下安装ubuntu以及全屏设置

1、VMware Ubuntu安装详细过程/2、vmware安装ubuntu " Intel VT-x 处于禁用状态"：https://jingyan.baidu.com/article/fc07f98976710e12ffe519de.html3、Ubuntu全屏设置解决Ubuntu在VMware虚拟机中非全屏问题 - CSDN博客VMware安装VMware Tools遇到的问题...

原创 通过Xshell远程连接虚拟机VMVARE中的Ubuntu

本文将讲解如何通过Xshell远程连接虚拟机中的Ubuntu，从而不必主系统和虚拟机来回切换。1. 下载并安装Xshell先下载并安装合适版本的Xshell rj.baidu.com/soft/detail/15201.html?ald2. 安装SSH服务由于xshell远程连接ubuntu是通过ssh协议的，所以，需要给ubuntu安装ssh服务器：输入 sudo apt-get i...

原创 LINUX IDL8.4安装 那些坑！

一.下载IDLhttp://ftpstatus.com/site_files.php?name=ftp.lowell.eduIDL版本： idl84envi52linux.x86_64.tar.gzLINUX : Centos 6.10二.安装IDL1.创建安装目录，终端输入sudo mkdir /usr/local/exelis2.将idl82linux.x86_64.tar....

原创 计算机网络

1.OSI的七层模型和TCP/IP的四层模型2.TCP/IP中，各层协议的简单介绍？3.TCP和UDP的区别4.在浏览器中输入www.baidu.com后执行的全部过程？7.TCP的三次握手和四次放手8.进程死锁问题9.同步和异步的区别10.单通道、半双工通道、双工通道11.ICMP11.IP地址分段1.子网掩码2.纯虚函数3. char、int、long….所占...

原创 迁移学习代码

迁移学习参考链接： 迁移学习VGG16 CNN识别验证码 注：本文迁移学习识别六位数字字母验证码，由于没有进行图片分割识别，样本数量不足，单个数字验证码识别精度仅达到65%，并未达到博主想要达到的效果，在这里贴出代码仅供参考。简单代码：# -*- coding:utf-8 -*-import osimport numpy as npimport tensorflow a...

转载 神经网络训练loss不下降原因集合

神经网络训练loss不下降原因集合 ...

原创 python Excle操作 xlrd openpyxl

1.读入操作def load_data(): filename = u'投资企业.xls' data = xlrd.open_workbook(filename) table = data.sheet_by_name(u'Sheet1') # 选择第4列（从第2行到最后一行） name_list = table.col_values(3)[1:] ...

原创 数据结构算法题总结

python数据结构与算法——图的最短路径（Dijkstra算法）# Dijkstra算法——通过边实现松弛# 指定一个点到其他各顶点的路径——单源最短路径# 初始化图参数G = {1:{1:0, 2:1, 3:12}, 2:{2:0, 3:9, 4:3}, 3:{3:0, 5:5}, 4:{3:4, 4:0, ...

原创 机器学习学习资源总结

机器学习学习资源总结1.莫烦学习python，内有tensorflow入门教程 2.莫烦教程tensorflow_tutorial 3.tensorflow 官方API 4.吴恩达机器学习 5.吴恩达深度学习 deep learning 6.吴恩达深度学习 deep learning Coursera作业（记得配合着学习，这样更有效率）...

原创 python 爬虫验证码模拟登陆

python 爬虫验证码模拟登陆参考文章 cookie的使用 http的请求与响应 利用cookie实现模拟登陆为什么要cookies 经验较少的朋友可能乍一看会以为IS_LOGIN是cookies的关键，其实不然。 我们先要简单了解一下cookies是个啥东西，有经验的朋友可以略过。 ’“Cookie”是小量信息，由网络服务器发送出来以存储在网络浏览器上，从而下次...

原创 Digital Image processing 数字图像处理最佳陷波滤波器设计（频域）

最佳陷波滤波器（傅里叶变换，matlab实现）1基本概念1.1频域滤波步骤小结 在频域中的滤波是简单明了的。它包含如下步骤： （1）给定一幅大小为M*N的输入图像f(x,y),选择填充参数P，Q，典型地，我们选择P=2M和Q=2N。 （2）对f(x,y)添加必要数量的0，形成大小为P*Q的填充后的图像fp(x,y)。 （3）用(-1)x+y乘以fp(x,y)移到其变换的中心。 ...