2017年05月_szx_0101

原创如何用词向量做文本分类（embedding+cnn）

1、数据简介本文使用的数据集是著名的”20 Newsgroup dataset”。该数据集共有20种新闻文本数据，我们将实现对该数据集的文本分类任务。数据集的说明和下载请参考（http://www.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/www/data/news20.html）。本文使用GloVe词向量。GloVe 是 “Global Vectors f

2017-05-27 11:37:40 25583 4

原创利用resnet 做kaggle猫狗大战图像识别，秒上98准确率

1、数据介绍这份数据集来源于Kaggle，数据集有12500只猫和12500只狗。在这里简单介绍下整体思路 1、1从图片中直接训练一个小网络（作为基准方法），也就是普通的cnn方法 2、2后面我会用到最新的预训练好的resnet等方法进行训练2 数据提升与cnn为了尽量利用我们有限的训练数据，我们将通过一系列随机变换堆数据进行提升，这样我们的模型将看不到任何两张完全相同的图片，...

2017-05-18 16:30:55 27502 9

原创如何用keras cnn 做kaggle猫狗大战图片识别

1、数据简介这份数据集来源于Kaggle，原数据集有12500只猫和12500只狗，因单机cpu跑，这里我只选取了2000张图片，工具用的是基于tensorflow的keras。数据如下所示： 2、数据预处理这部分代码如下：import os # 处理字符串路径import glob # 查找文件from keras.models import Sequential # 导入Sequen

2017-05-17 19:29:29 17346 15

原创利用scrapy爬取新浪体育上的图片

1、说明我用的是python3下的scrapy，这篇博客主要是告诉大家如何用scrapy爬取图片并下载到本地。步骤我会一一说明2、步骤2、1 items部分直接看代码 items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://d

2017-05-29 13:26:26 923

原创利用scrapy爬取新浪体育新闻的小例子

1、新建项目scrapy startproject tutorial整体结构如下 2、修改items# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/latest/topics/items.htmli

2017-05-27 17:39:23 4903 2

原创 Python并行地爬取京东页面的id以及各个id的评论

1、简介前面一篇告诉了大家如何爬取京东的评论，这次我来教大家如何大规模并行的爬取自动获取商品id以及爬取评论2、所需模块除了上篇博客所需模块之外，这次需要加入selenium这个模块来爬取动态页面的数据3、代码代码下有注释，有疑问直接在下面评论import requestsfrom bs4 import BeautifulSoupimport refrom selenium import

2017-05-26 10:21:36 1163

原创如何做情感分析，以京东评论为例（jieba+sklearn)

1、引言作为我的自然语言处理的第一篇博客，就简单的给大家看看用jieba分词，提取特征，利用机器学习的算法做情感分析的过程，照样，我不多做说明，请看代码，代码有注释2、介绍我的文本来自上一篇博客爬取的京东的评论，都放在了我的mysql库里面，所以这里我只要在mysql中提取我想要的数据就行3、代码import jiebaimport pymysqlimport collections,

2017-05-26 10:11:37 6442

原创 Python爬取京东评论（多线程+队列+bs4+pymysql）

1、概述本博客纯属原创，如有转载，请注明作者运行环境：python3.5所需模块：bs4 ,queue.thread,pymysql,requests，大家如果想运行此代码，只需要将我标粗并斜体的部分修改即可。2、具体内容2、1导入具体模块###导入具体模块import requestsfrom bs4 import BeautifulSoupimport refrom collec

2017-05-26 09:57:30 1931

原创利用keras（tensorflow）做cnn mnist识别

keras图像数据处理以及图像识别小例子1、数据预处理数据集请自行下载，数据不大，20来兆数据具体如下所示：格式为要识别的数字.序号.jpg数据预处理代码，我用的是tensorflow做后端的keras，所以输入维度为（样本量，高，宽，通道）import osfrom PIL import Imageimport numpy as np#读取文件夹mni...

2017-05-17 14:42:33 8356 12

shizhengxin123的博客