实例(小例)
MXuDong
假如有一天我变成了流氓,请告诉别人我曾经纯真过!
展开
-
selenium操作实例(爬取本地的一本小说和淘宝搜索:笔记本电脑)以及进程池
本地小说:#!/usr/bin/env python# -*- coding:utf-8 -*-import timefrom selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom multiprocessing import Poolclass XS(...原创 2018-06-23 17:35:59 · 817 阅读 · 0 评论 -
pyspider使用实例
(注意:实例为爬取起点中文网 >地址:https://www.qidian.com/all)创建项目:创建后项目内容:实例 操作步骤: 数据库内容如下: 使用mongodb数据库:代码如下:#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2018-06-14 17:11:18# Pr...原创 2018-06-19 21:55:23 · 3400 阅读 · 0 评论 -
selenium窗口操作以及使用selenium定位iframe内部标签元素
1. 标签内部存在iframe,普通的方式无法直接定位到iframe内部的标签元素。需要切换;2. 一个浏览器对象,存在多个标签选项卡。需要切换。定位iframe内部标签元素登录QQ邮箱为列:#import timefrom selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.we...原创 2018-06-23 17:19:25 · 5620 阅读 · 0 评论 -
Python爬虫是scrapy框架中ItemLoaders使用解析
ItemLoaders的作用: #使用Item Loaders对Item数据进行提取和解析(整理)。作用: 之前的方式(使用response.xpath()或response.css()提取数据然后直接处理数据),是将数据的提取和解析混合在一起,但是Item Loaders是将这两个部分分开处理了; A、 爬虫文件bole.py中只负责数据的提取; B、Ite...原创 2018-07-10 20:55:27 · 1200 阅读 · 0 评论 -
Keras :MNIST数字图像识别示例(卷积神经网络)
Keras:MNIST数字图像识别示例 # !/user/bin/env python# -*- coding:utf-8 -*-from keras.datasets import mnistfrom keras.utils import to_categoricalfrom keras import layersfrom keras import models# imp...原创 2019-01-13 20:07:15 · 1204 阅读 · 0 评论 -
Keras—猫狗数据集进行卷积(Conv2D)训练以及图像数据增强
数据增强不可以增强验证集和测试集!!# !/user/bin/env python# -*- coding:utf-8 -*-"""@author:MXD@file: 小型数据集训练卷积神经网络.py@time: 2019/01/20 14:36@software: PyCharm"""import os, shutil###将数据分别存到各个文件夹# 原始数据集的...原创 2019-01-20 16:44:53 · 2883 阅读 · 0 评论