python
Kungs8
这个作者很懒,什么都没留下…
展开
-
基于图像链接的批量下载
【代码】基于图像链接的批量下载。原创 2023-08-21 15:00:09 · 499 阅读 · 0 评论 -
Python动态进度条N种整理
Python动态进度条N种整理我们在规范代码的时候,经常需要查看代码运行的状态,往往需要进度条来观察任务进行到什么程度了,这里就汇总了几种动态的进度条以供参考。# -*- encoding: utf-8 -*-'''@Software: PyCharm@Project : Progressbar@Time : 2021-10-12 11:19@Author : yanpenggong@Contact : yanpenggong@163.com@Version :原创 2021-10-19 17:42:06 · 1132 阅读 · 0 评论 -
Tensorflow实例3: 验证码图片的识别训练,每张图片有4个字母
学习目标目标说明验证码识别的原理说明全连接层的输出设置说明输出结果的损失、准确率计算说明验证码标签值的数字转换应用tf.one_hot实现验证码目标值的one_hot编码处理应用应用神经网络识别验证码图片1、识别效果2、验证码识别实战处理原始数据方便特征值、目标值读取训练设计网络结构网络的输出处理训练模型并预测原理分析1、目标...原创 2018-12-02 00:08:31 · 8598 阅读 · 19 评论 -
Tensorflow案例4:Mnist手写数字识别(线性神经网络)及其局限性
学习目标目标应用matmul实现全连接层的计算说明准确率的计算应用softmax_cross_entropy_with_logits实现softamx以及交叉熵损失计算说明全连接层在神经网络的作用应用全连接神经网络实现图像识别应用Mnist手写数字势识别1、 数据集介绍文件说明:train-images-idx3-ubyte.gz: training s...原创 2018-12-02 00:30:18 · 910 阅读 · 0 评论 -
Tensorflow案例5:CNN算法-Mnist手写数字识别
学习目标目标应用tf.nn.conv2d实现卷积计算应用tf.nn.relu实现激活函数计算应用tf.nn.max_pool实现池化层的计算应用卷积神经网路实现图像分类识别应用CNN-Mnist手写数字识别1、网络设计我们自己定义一个卷积神经网络去做识别,这里定义的结构有些是通常大家都会采用的数量以及熟练整个网络计算流程。但是至于怎么定义结构是没办法确定的,也就是...原创 2018-12-02 00:38:02 · 650 阅读 · 0 评论 -
Tensorflow基础0:文件的读取与存储
文件读取流程学习目标目标说明TensorFlow文件读取的流程应用无有四种获取数据到TensorFlow程序的方法:tf.dataAPI:轻松构建复杂的输入管道。(优选方法,在新版本当中)QueueRunner:基于队列的输入管道从TensorFlow图形开头的文件中读取数据。Feeding:运行每一步时,Python代码提供数据。预加载数据:TensorFl...原创 2018-12-02 00:57:47 · 1079 阅读 · 0 评论 -
Python:雷达图的实现
雷达图雷达图在数据挖掘项目中多用于企业分析或者价值分析的环节可视化。雷达图分析法是一种系统分析的有效方法,它是从项目中自身建立的多方面分析企业的经营成果。并将这些方面的有关数据用比率表示出来,填写到一张能表示各自比率关系的等比例图形上,再用彩笔连接各自比率的结点后,恰似一张雷达图表。从图上可以看出企业经营状况的全貌,一目了然地找出了企业经营上的优势和弱势。分析方法就各指标来看,当指标值处于标...原创 2018-12-19 12:26:10 · 29024 阅读 · 11 评论 -
win10的jupyter notebook使用pyspark2.3.2解决的报错问题
1、问题出现:py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.关于windows10下使用jupyter notebook时,对于pyspark版本只能取其spark2.3.2版本,具体简单demo如下:...原创 2019-02-11 15:34:04 · 1147 阅读 · 0 评论 -
Linux安装pip和setuptools
一、说明linux自带的python版本是2.7.5,但是不自带pip命令,下面针对这问题进行配置二、安装步骤1、安装setup-tools和pip在https://pypi.python.org/pypi/setuptools下载安装包,可以复制下载链接使用wget命令下载。下载下来后,解压安装:wget https://pypi.python.org/packages/45/29...原创 2019-05-08 15:59:19 · 1538 阅读 · 1 评论 -
python运行demo时,自动安装环境
将下面的代码放入demo中,输入use_module_list = [需要安装的包]实例:import sys, os#module_list = sys.modules.keys()use_module_list = ["pandas", "python-dateutil", "datetime","re"]for module in use_module_list: if ...原创 2019-05-23 09:26:33 · 620 阅读 · 0 评论 -
python将pandas数据转为spark的dataframe格式保存到hive中
使用python在调用集群跑数据之后,数据以pandas计算,输出的结果保存到hive数据库中,最老套的办法。(注意:这里的spark版本是1.6)步骤:from pyspark.sql import HiveContextfrom pyspark import SparkConf, SparkContextfrom pyspark.sql import functionsconf =...原创 2019-06-04 17:31:21 · 5830 阅读 · 0 评论 -
python爬取网页的视频
这里指定了一个视频的链接地址:http://f.us.sinaimg.cn/000bIRNylx07uBalSO1y0104120cNh4r0E050.mp4?label=mp4_hd&template=640x360.28.0&Expires=1561614590&ssig=KYl0nz%2BLey&KID=unistore,video# -*- codin...原创 2019-06-27 13:26:49 · 11750 阅读 · 2 评论 -
第五章 支持向量机(SVM)
支持向量机(SVM)详解文章目录支持向量机(SVM)详解支持向量机线性SVM分类大间隔分类特征缩放的敏感度软间隔分类硬间隔对异常值的敏感度街道宽阔 vs 限制间隔违例(之间找到良好的平衡,即:软间隔分类)非线性SVM分类非线性SVM分类(卫星数据集)多项式核添加相似特征高斯RBF核函数计算复杂度SVM回归工作原理决策函数和预测训练目标二次规划对偶问题核化SVM损失函数hinge损失函数(max(...原创 2019-08-20 15:29:12 · 998 阅读 · 0 评论 -
Tensorflow实例2:将图像和标签数据(*.csv)转化成tfrecords文件,以便后续直接读取tfrecords文件进行图片验证码识别训练
由于多张图像和标签值不在一起,现在此方法是把captcha_dir = "../data/GenPics/"此路径下的图片与此路径下的.csv文件合并起来,通过writer = tf.python_io.TFRecordWriter(path="./data/captcha.tfrecords")将数据以tfrecords格式写入到本地中,为了以后进行验证码图片训练做好准备。具体操作步骤如下:...原创 2018-12-01 22:47:23 · 2777 阅读 · 5 评论 -
语义的特征提取及简单词频展示(WordCloud)
对于语句分析,以及词云展示,具体代码如下:# coding=utf-8import jiebaimport numpyimport pandas as pdfrom wordcloud import WordCloudimport matplotlib.pyplot as plt# 将三个句子用jieba.cut处理content1 = jieba.lcut("今天很残酷,明天更...原创 2018-12-02 11:55:20 · 2385 阅读 · 0 评论 -
Docker运行tracker,The path /var/fdfs/tracker is not shared from OS X and is not known to Docker
Docker装FastDFS,运行tracker,错误:The path /var/fdfs/tracker is not shared from OS X and is not known to Docker执行如下命令开启tracker 服务docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdf...原创 2018-09-18 10:28:19 · 4316 阅读 · 2 评论 -
使用gevent.monkey.patch_all() 协程池遇到阻塞,在任务中添加一个sleep()搞定~
关于使用gevent.monkey.patch_all()遇到阻塞解决办法:import gevent.monkeygevent.monkey.patch_all()在进行多线程时monkey会阻塞住线程的继续执行,需要对monkey.patch_all进行处理, 在实例中添加一个sleep()可以解决,这里时间可以设置一个非常小的数就可以了~class Example: ........原创 2018-10-11 10:58:42 · 4874 阅读 · 0 评论 -
Mac 搭建虚拟环境安装virtualenv
Mac 安装virtualenv常规下,我们需要在同一台机器上开发运行多个python进程,而这些进程有的需要使用python3, 有的需要使用python2, 这就导致我们经常把服务器的环境搞得很混乱。在这种情况下, 我们就可以引入virutalenv了安装virutalenv 我使用的是mac, 以下均在mac上的操作pip 安装 第一步, 需要安装pip pip是unix...原创 2018-08-06 11:52:37 · 596 阅读 · 0 评论 -
Mongodb的使用方法&与python的交互
一、Mongodb的介绍和安装1. nosql的介绍“NoSQL”⼀词最早于1998年被⽤于⼀个轻量级的关系数据库的名字随着web2.0的快速发展, NoSQL概念在2009年被提了出来NoSQL在2010年⻛⽣⽔起, 现在国内外众多⼤⼩⽹站, 如facebook、 google、 淘宝、 京东、 百度等, 都在使⽤nosql开发⾼性能的产品对于⼀名程序员来讲, 使⽤nosql已经成为...原创 2018-10-15 18:48:06 · 793 阅读 · 0 评论 -
RedisCrawlSpider爬虫遇到 `明威把`不能转换为汉字的解决办法
问题阐述爬取网页时,正常情况下python3中能直接转化为utf-8,即所谓的汉字能够正常显示。所以即使网页中显示的是这种escape sequence,获取到之后能够显示正常,但是偶尔也不好使,不好使的情况下就会出现以下的charref状态:明威把解决方法In [1]: from html.parser import HT...原创 2018-10-22 21:34:55 · 464 阅读 · 0 评论 -
nginx 在检查是否可启动出现问题(cannot open shared objectfile: No such file or directory)的解决
ngnix在检查是否可启动的时候,出现下面问题:(venv) root@instance-nl5v4j4n:/data/server/nginx#./sbin/nginx -t ./sbin/nginx:error while loading shared libraries: libpcre.so.1: cannot open shared objectfile: No such fi...原创 2018-11-01 11:43:43 · 2658 阅读 · 0 评论 -
python中调用matplotlib画图,各种中文标注乱码强力解决办法
关于python中调用matplotlib画图,中文标注乱码如下:解决办法:# 通用字体设置from matplotlib import font_manager# my_font = font_manager.FontProperties(fname="字体路径")my_font = font_manager.FontProperties(fname="原创 2018-11-02 11:33:31 · 5201 阅读 · 0 评论 -
No module named 'matplotlib.finance'及name 'candlestick_ochl' is not defined强力解决办法
问题:尝试用python做个股票绘图软件,要用到 finance 库,在实现实现K线图绘制的时候,于是开始导入:from matplotlib.finance import candlestick_ochl...candlestick_ochl(axes, quotes, width=0.3, colorup="r", colordown="g")matplotlib 2.2.2 报错...原创 2018-11-08 02:19:21 · 12541 阅读 · 3 评论 -
数据结构(一):几种常见排序算法比较
排序0. 常见排序算法效率比较时间复杂度及稳定性比较排序方法平均方法最优复杂度最坏复杂度辅助空间稳定性冒泡排序O(n2n^2n2)O(n2n^2n2)O(n2n^2n2)O(1)稳定选择排序O(n2n^2n2)O(n2n^2n2)O(n2n^2n2)O(1)不稳定插入排序O(n2n^2n2)O(n2n^2n2)O(n2n^2n...原创 2018-11-06 00:42:22 · 1380 阅读 · 0 评论 -
pandas 0.23.4 :'pd.ewma'没有这个模块,改用`Series.ewm` 或 降低版本到 pandas 0.21.0
问题:在进行画出指数平滑移动平均线,遇到如下问题:# pd.ewma(com=None, span=one) # 指数平均线。com:数据;span:时间间隔AttributeError: module 'pandas' has no attribute 'ewma'解决办法:在pandas 0.23.4版本中,已经不存在这种方法,回退到之前版本pandas 0.21.0就一切完美...原创 2018-11-13 16:51:18 · 11261 阅读 · 1 评论 -
Tensorflow实例1:对人工数据集的K均值聚类
2.6.7 例1–对人工数据集的K均值聚类import tensorflow as tfimport numpy as npimport time import matplotlib.pyplot as pltimport matplotlibfrom sklearn.datasets.samples_generator import make_blobsfrom sklearn...原创 2018-11-23 12:04:31 · 1050 阅读 · 0 评论 -
python用matplotlib作图的时候,中文标注无法正常显示,乱码为小方框的解决办法
关于python引用matplotlib作图的时候,中文标注无法正常显示,乱码为小方框 通常在作图的时候,没有设置字体以为是默认字体,但是这里会追踪不到字体的位置,运行下面的代码,出现的图会出现不能显示中文的异常from matplotlib import pyplot as pltimport randomx = range(0,120)y = [random.randint(20...原创 2018-09-16 22:01:37 · 24050 阅读 · 10 评论