- 博客(945)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 【python conda错误】Cache entry deserialization failed, entry ignored 错误解决
用conda 安装环境时，报如下错误：Cache entry deserialization failed, entry ignored解决：更新pip版本：python -m pip install --upgrade pip
2019-11-01 19:44:20
35342
5
原创 【深度学习 走进tensorflow2.0】训练模型以及保存最佳模型
项目目录：数据集：下载 二分类数据集：cats_and_dogs_filtered文件夹wget https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip目录结构如下：.├── [drwxr-x---] cats_and_dogs_filtered│ ├── [drwxr-x---] t...
2019-10-31 15:31:43
11436
1
原创 【深度学习 走进tensorflow2.0】训练的模型保存方式
在我们训练深度学习网络的时候，如何保存模型，并提供给客户端使用，是常见的问题。保存Tensorflow的模型有很多方法-具体而言是您使用的API。本指南使用tf.keras。方式1：在训练期间保存模型（以checkpoints形式保存）您可以使用训练好的模型而无需从头开始重新训练，或在您打断的地方开始训练，以防止训练过程没有保存。tf.keras.callbacks.ModelCheckpoi...
2019-10-30 12:20:54
6985
原创 【深度学习 走进tensorflow2.0】一个demo快速了解tensorflow2.0
下面我们用 tensorflow2.0 进行手写数字识别，看看tensorflow2.0 如何写代码。简单版：使用sequential 模型构建模型：# -*- coding: utf-8 -*-import tensorflow as tfmnist = tf.keras.datasets.mnist(x_train, y_train), (x_test, y_test) = ...
2019-10-29 20:30:51
3117
原创 【深度学习 玩转keras】文本数据预处理
在深度学习运用在自然处理语言前，文本预处理是必不可少的步骤，一些常用的工具如句子句子分割，one-hot 编码，分词器都已经集成在keras预处理工具中，用户无需自己重新造轮子。下面我们将分别讲解这些功能。1、分割句子获得单词序列。from keras.preprocessing.text import Tokenizer,one_hot,text_to_word_sequenceimpor...
2019-10-27 20:02:51
980
原创 【深度学习 玩转keras】小试牛刀使用深度神经网络进行cifar-10图片分类
下面用一个keras 官方示例，给大家介绍一下使用深度学习进行图片分类的几大步骤以及实现。我们的分类对象是CIFAR-10数据集，这个数据集包含了6万张大小为32*32的彩色图片，其中50000张作为训练集，10000张作为测试集，这些图片分成10类。下面我们使用 keras 构建深度学习神经网络模型，然后基于构建好的深度神经网络模型对这个数据集进行训练，最后检验模型预测的准确性。首先让我们理...
2019-10-27 11:51:50
402
原创 【深度学习 框架学习】深度学习框架共有特征
近几年最火的深度学习框架是什么？毫无疑问，tensorflow 高票当选，同时pytorch,caffe 用的人也非常多，这些框架各有优势，但都具备 一些普遍特征，下面我们抽象出来，整理一下，方便大家有目标学习。五大核心组件如下：（1）张量tensor的数据结构（2）基于张量的各种操作。（3）计算图。（4）自动微分工具。（5）BLAS、cuBLAS,cuDNN 等扩展包，加速运算。...
2019-10-27 11:20:35
354
原创 【深度学习 环境安装】在docker上玩深度学习
下面我们在GPU 服务器完成 nvidia-driver, docker 以及 nvidia-docker 安装。centos7 环境下：# 安装 CUDAwget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-rhel7-8-0-local-ga2-8.0.61-1.x86_64...
2019-10-27 10:50:03
287
原创 【opencv4 检测二维码】cv4判断图片是否包含二维码
opencv4.0版本以后，加入了二维码定位解码的功能。下面我们将使用该功能，进行图片二维码检测。由于 python中cv2模块的imread函数呆以正常读取’jpg’,'png’格式的图片，但是不能处理’gif’图片。可以改用imageio模块来处理。安装 imageio 模块pip install imageio# -*- coding: utf-8 -*-import cv2...
2019-10-21 13:33:24
3235
1
原创 【python 乱码错误】网页乱码错误解决
某个网址爬出来的网页源代码出现中文乱码查看源代码可以发现这个网址采用的编码是GBK# -*- coding: utf-8 -*-import requestsurl='https://www.jb51.net/do/book.html'import re# r=requests.get(url)# r.encoding='GBK'# html=r.texthtml=req...
2019-10-16 18:54:01
5269
原创 【深度学习 走进tensorflow2.0】linux 下 tensorflow 2.0 环境安装
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。人工智能教程安装python 环境，均以python3.7版本、可用anaconda 安装conda create -n tf2 python=3.7进入名为“tf2”的虚拟环境source activate tf2...
2019-10-14 16:38:56
2186
原创 【深度学习--图像分类】imageAI自定义模型预测
ImageAI 提供4种不同的算法和模型，使你可以用您自定义的模型执行图像预测。您将使用 ImageAI 已训练的模型和相应的 JSON 文件来预测自定义对象。下面我们通过我们训练的一个例子来进行预测。先看项目目录：datasetresnet_train.pyresnet_predict.py模型分为5类，训练好的模型最高测试集准确率97.48%左右。dataset 文件夹下面结构...
2019-09-26 20:02:47
2295
2
原创 【深度学习--图像分类】imageAI自定义模型训练
10分钟了解下图像识别库imageAI，请看上篇文章。点这里ImageAI 提供4种不同的算法及模型来执行自定义预测模型训练，通过以下简单几个步骤即可实现自定义预测模型训练。提供用于自定义预测模型训练的4种算法包括 SqueezeNet，ResNet，InceptionV3 和 DenseNet。您可以将其中一种算法加载到imageai.Prediction.Custom.CustomImage...
2019-09-26 19:28:12
2920
原创 【深度学习--图像分类】10分钟了解下图像识别库imageAI
ImageAI 提供4种不同的算法及模型来执行图像预测，通过以下简单几个步骤即可对任何图片执行图像预测。提供用于图像预测的4种算法包括 SqueezeNet，ResNet，InceptionV3 和 DenseNet。这些算法中的每一个都有单独的模型文件，您必须根据所选算法使用相对应的模型文件，请单击以下链接下载所选算法的模型文件：SqueezeNet（文件大小：4.82 MB，预测时间最短，...
2019-09-25 20:44:57
3237
2
原创 【python Image.open错误】image file is truncated (7 bytes not processed)
在处理图片数据的时候，Image.open()报错image file is truncated (7 bytes not processed)解决办法：加上两行代码from PIL import ImageFileImageFile.LOAD_TRUNCATED_IMAGES = True...
2019-09-25 18:05:02
1224
原创 【aiohttp post请求错误】Maximum request body size 1048576 exceeded, actual body size 1053619
客户端发起异步请求给aiohttp 服务端。async def send_post_image_data(img_data, api_url,image_id): """ :param img_data: 图片二进制数据 :param api_url: 图片检测接口 :param image_id: 图片id :return: 返回异步http结果 ...
2019-09-25 11:33:39
1609
原创 【图像分类--图片数据扩充】图片数据不够怎么凑
在训练神经网络的过程中，为了能够使训练的网络有更高的准确率，更低的过拟合，通常需要大量的训练数据，但在实际工作中，大量数据并不是说有就有的，怎么办呢，通常解决这个问题的办法就是，使用一些手段，人为扩充数据集。本篇文章，将针对图像数据，提供一些扩展常用方法，相信这些方法能够满足大家对扩充图片数据集的需求。方法1：利用keras生成器扩充图片数据集。# -*- coding: utf-8 -*-...
2019-09-24 22:50:40
8814
12
原创 【python 异步框架tornado】Tornado原理理解及应用场景
一、应用场景理解相信大家学习python,有听过flask、django、tornado 这些web框架。那么这些漂亮的框架的应用场景是什么呢。要性能，Tornado 首选；要开发速度，Django 和Flask 都行，区别是Flask 把许多功能交给第三方库去完成了，因此Flask 更为灵活。Django适合初学者或者小团队的快速开发，适合做管理类、博客类网站、或者功能十分复杂需求十分多的...
2019-09-24 17:08:23
2954
1
原创 【python 异步框架tornado】10分钟学习下Tornado
Tornado 在很大程度上与 Flask 一样简单，但有一个主要区别：Tornado 是专门为处理异步进程而构建的。Tornado 是一个支持异步的Web框架，通过使用非阻塞 I/O 流，它可以支撑成千上万的开放连接，效率非常高，下面我们介绍下它的安装方式。pip install tornado第一个tornado程序创建一个简单的helloworld.py# -*- encodi...
2019-09-22 19:41:01
720
1
原创 【oracle 截取时间字段】oracle中怎么截取时间字段
oracle 如何截取时分秒，年月日，并计数呢select to_char(sysdate,'yyyy-mm-dd hh24:mi:ss') as nowTime from dual; //日期转化为字符串select to_char(sysdate,'yyyy') as nowYear from dual; //获取时间的年select to_char(sysdate,'mm') as...
2019-09-19 17:26:59
4505
原创 【tensorflow 训练验证数据处理】制作tfrecords数据格式
有了 train.txt和val.txt数据集，我们就可以制作train.tfrecords和val.tfrecords文件了，下面提供一个用于制作tfrecords数据格式的Python文件：create_tf_record.pycreate_tf_record.py提供几个重要的函数：1、create_records()：用于制作records数据的函数，2、read_records()...
2019-09-19 14:53:23
930
1
原创 【tensorflow 训练验证数据处理】制制作trian和val TXT的文件
开始训练模型之前，需要对收集的图片进行处理。那么第一步 就是制作trian和val TXT的文件。训练和测试的图片数据集 分别放在 train 和val 两个文件夹下。数据集，共有五类图片，分别是：flower、guitar、animal、houses和plane。有了图片数据集后，需要划分为train和val数据集，前者用于训练模型的数据，后者主要用于验证模型。这里提供一个create_l...
2019-09-19 10:47:23
797
原创 【tensorflow 读取图片方式】本地文件名读取以及url方式读取
图片存在形式，一般是本地文件夹xxx.jpg。xxx.png.或者是url方式，https://timgsa.baidu.com/timg? 类似这两种。那么tensorflow 是如何读取这两种图片的呢。下面将会讲解。本地图片读取可以用 tf.read_file（）和tf.image.decode_jpeg（） 两个函数。或者tf.gfile.FastGFile() 和tf.image.d...
2019-09-18 11:16:58
2103
原创 【git-lfs 安装教程】10分钟了解Git LFS
查看：output_graph.pb 内容如下：version https://git-lfs.github.com/spec/v1oid sha256:fe2653775a6e9a601a7ee377aeb1881e867c19a3be7f5776acf5c3512d1f2c64size 87434170进一步了解到这是通过git lfs 上传的大文件，那么如下下载他呢，答案便是安装g...
2019-09-17 18:54:51
9872
6
原创 【python requests警告】python3.x requests库取消ssl验证，InsecureRequestWarning: Unverified HTTPS request is be
警告信息： InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnin...
2019-09-17 11:30:55
1777
原创 【python requests错误】Caused by SSLError(SSLError("bad handshake: SysCallError(104, 'ECONNRESET')"
错误描述：在发送get请求时错误，执行下面一句时报错了： response = requests.get(image_url)原因HTTPSConnectionPool(host='test-kkbuluo-resource.cdn.hzmltest.com', port=443): Max retries exceeded with url: /IMCORE/RESOURCE/LOGO/...
2019-09-16 15:52:12
14464
3
原创 【深度学习 图像分类】图像分类任务细节
实现一个完整的图像分类任务，大致需要分为五个步骤：1、选择开源框架目前常用的深度学习框架主要包括tensorflow、keras、pytorch、mxnet,caffe等；2、构建并读取数据集根据任务需求搜集相关图像搭建相应的数据集，常见的方式包括：网络爬虫、实地拍摄、公共数据使用等。随后根据所选开源框架读取数据集。3、框架搭建选择合适的网络模型、损失函数以及优化方式，以完成整体框架的...
2019-09-10 11:34:41
2626
原创 【python 并发编程】单线程、多线程、多进程、异步方式
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。人工智能教程单线程方式：无论哪门编程语言，并发编程都是一项很常用很重要的技巧。例如，爬虫就被广泛应用在工业界的各个领域，我们每天在各个网站、各个 App 上获取的新闻信息，很大一部分便是通过并发编程版的爬虫获得。正确合理地使用...
2019-09-08 14:26:05
581
原创 【oracle sql错误】ORA-01795: 列表中的最大表达式数为 1000
select SOURCE_ID,FILTER_TEXTfrom TEXT_CENTER where SOURCE_ID in() in后面的括号里的数目超过1000条。问题描述:SQL进行IN查询时，IN中的数据量不能超过1000条。解决办法：拆分：id in (1,2,3,4,5,,,,999) or id in(1000,1001,1002,1003,1004,,,,,,)。...
2019-09-04 18:09:18
1256
原创 【python 走进NLP】从零开始搭建textCNN卷积神经网络模型
1、众所周知，tensorflow 是一个开源的机器学习框架，它的出现大大降低了机器学习的门槛，即使你没有太多的数学知识，它也可以允许你用“搭积木”的方式快速实现一个神经网络，即使没有调节太多的参数，模型的表现一般还不错。目前，tensorflow 的安装已经变得非常简单，一个简单的 pip install tensorflow 即可，然后 import tensorflow as tf 就能愉快...
2019-09-03 18:09:32
3980
原创 【python 时间戳】python获取13位时间戳以及时间戳转换
java默认精度是毫秒级别的，生成的时间戳是13位，而python默认是10位的，精度是秒。那么python是如何生成13位时间戳，以及时间戳如何转换为日期呢，下面将一一解答。我写了四个函数。分别对应四个功能。函数1 get_second（）：python获取精确到秒时间戳，10位函数2 get_millisecond（）：python获取精确毫秒时间戳,13位函数3 get_delta（t...
2019-09-02 20:17:49
21836
原创 【python 多进程传参】pool.map() 函数传多参数
一、背景介绍相信很多人都用过，pool.map()函数，这个函数，有两个参数可以传，第一个参数传的是函数，第二个参数传的是数据列表。那么怎么在第二个数据列表，多传几个参数呢，方法是通过对有多个参数的方法进行封装，在进程中运行封装后的方法。类似如下调用job1()方法：# -*- coding:utf-8 -*-import timeimport multiprocessingd...
2019-09-02 15:16:37
54423
11
原创 【python 异步编程】10分钟快速入门aiohttp教程
无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。人工智能教程一、先搞清楚什么是同步编程和异步编程?同步编程：接到上峰指令：有两件事当天要处理完成，越快越好。那么同步是怎么工作呢，第一时间接到指令后，先处理第一件事情，等第一件事情做完了，再做第二件事情，通俗讲就是有点类似工厂的...
2019-09-01 16:36:38
1000
原创 【python 读取url图片】python读取url图片地址
# -*- coding:utf-8 -*-import requestsfrom PIL import Imagefrom io import BytesIOimport timetime1=time.time()img_src_list=['https://kk-resource.cdn.kkbuluo.com/CMS/RESOURCE/CMS_MESSAGE/IMAGE/...
2019-09-01 14:33:58
7178
1
原创 【python 异步编程】python异步编程之asyncio+aiohttp
asyncio这个库是官网非常推荐的一个实现高并发的一个异步编程模块。在学习asyncio之前，我们先来理清楚同步/异步的概念：·同步是指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行。。。·异步是和同步相对的，异步是指在处理调用这个事务的之后，不会等待这个事务的处理结果，直接处理第二个事务去了，通过状态、通知、回调来通知调用者处理...
2019-08-27 18:11:04
1096
原创 【python 走进pytotch】pytorch实现用Resnet提取特征
准备一张图片，pytorch可以方便地实现用预训练的网络提取特征。下面我们用pytorch提取图片采用预训练网络resnet50，提取图片特征。# -*- coding: utf-8 -*-import os.pathimport torchimport torch.nn as nnfrom torchvision import models, transformsfrom tor...
2019-08-24 13:15:10
6777
2
原创 【python 走进pytorch】torchvision.transforms进行图像缩放
transforms包含了一些常用的图像变换，这些变换能够用Compose串联组合起来。# 用于把一系列变换组合到一起。class torchvision.transforms.Compose(transforms)# 格式变换，把张量或ndarray转化为PIL图像。class torchvision.transforms.ToPILImage(mode=None)# 格式变换，将...
2019-08-24 13:05:34
9883
1
原创 【python 字符判断】python 判断名字是否含有数字，英文字符和汉字
找出中文，英文，数字，三者都包含的字符串。# -*- coding:utf-8 -*-def is_chinese(uchar): """ 判断一个unicode是否是汉字 :param uchar: :return: """ if uchar >= u'\u4e00' and uchar<=u'\u9fa5': r...
2019-08-21 11:48:19
8255
原创 【python 接口部署】利用gunicorn 启动flask接口服务
1、安装gunicornpip install Gunicorn2、为了更好的管理gunicorn，在项目目录下创建gunicorn_conf.py文件，内容如下：import osimport multiprocessingpath_of_current_file = os.path.abspath(__file__)path_of_current_dir = os.path...
2019-08-14 17:13:13
2678
原创 【python 开启线程】在一个程序同时开启另一个线程执行另一项任务
在python程序中，我们往往会遇到需要在一个脚本里面，同时执行多项任务的需求，那么此时，我们可以开启一个线程去执行。如下面，我需要开启一个读取redis白名单线程任务。 每一分钟跟新一次用户白名单。import threadingdef load_redis_white_userId(): """ :return: 读取redis用户白名单 """ whi...
2019-08-14 16:40:38
7375
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人