2018年04月_河南骏

原创 pytorch 中实现CNN，对CNN的理解心得

将卷积核与图像进行卷积是在空间上滑动图像，计算点积卷积核总是扩展输入卷的全部深度卷积层在卷积核和图像的一个小的5x5x3块之间取一个点积的结果对所有空间位置进行卷积（滑动）卷积神经网络是一个卷积层的序列，夹杂着激活函数池化层使性能更好，更易于操作独立操作每个激活映射简介:conv、池化层和全连通层的堆积通常模型越深层次对模型更有帮助不一定需要池全连接层在分类时用到，其他非分类的可以不用全连接层...

2018-04-26 14:38:29 1306

原创腾讯动漫爬虫与动态随机加载反爬

在学习了selenium后，就想试试爬一爬动漫，在微信社区里又看到一个腾讯动漫爬虫与动态随机加载反爬破解实战的文章，就试着跑了一下，还可以。用到了PhantomJS自动触发漫画图片以及js（window.scrollTo()实现页面滑动，自动触发触剩下的多张漫画图片）,最后用urllib提取并保存本地。话不多说，上代码，重点已做注释：#--*-- coding:utf-8 --*--from s...

2018-04-24 18:08:21 1665

原创 selenium.common.exceptions.WebDriverException: Message: 'phantomjs' executable needs to be in PATH

使用selenium+phantomjs的时候，出现了这样的报错信息：selenium.common.exceptions.WebDriverException: Message: 'phantomjs' executable needs to be in PATH1下面给出解决方法：browser = webdriver.PhantomJS(executable_path=r'c:\user\y...

2018-04-24 17:12:04 1760

原创 PyQuery笔记

1、初始化1.1、字符串初始化from pyquery import PyQuery as pyhtml = '''<div> <ul> <li class="item-0">first item</li> <li class="item-1"><a href="htt

2018-04-24 15:11:51 388

原创 BeautifulSoup 笔记

BeautifulSoup的基本使用from bs4 import BeautifulSouphtml = """<html><head><title>The Dormouse's story</title></head><body><p class="title" name=&

2018-04-24 15:03:28 378

原创 Requests库笔记

1、概览1.1、实例引入# 引入Requests库import requests# 发起GET请求response = requests.get('https://www.baidu.com/')# 查看响应类型 requests.models.Responseprint(type(response))# 输出状态码print(response.status_code)# 输出响应内容类型 t...

2018-04-24 14:55:34 339

原创 Selenium 库学习笔记

#--*-- coding:utf-8 --*--#selenium基本使用# from selenium import webdriver# from selenium.webdriver.common.by import By# from selenium.webdriver.support import expected_conditions as EC# from seleni...

2018-04-24 14:40:40 485

转载 flume架构以及应用理解参考

https://blog.csdn.net/a2011480169/article/details/51544664，这边博客写的很详细，很实用，分享与喜爱！！！

2018-04-23 16:23:16 274

原创链家二手房爬虫

最近在看模拟登陆，找链家二手房爬取来练手，因为技术有限，有些并行化，复杂度，性能方面等不能兼顾，学习学习学习。下面贴出源码，有志同道合的高手可以帮忙改进或者提些意见。#--*-- coding:utf-8 --*--import pandasimport requestsimport refrom bs4 import BeautifulSoupfrom fake_useragent...

2018-04-18 17:12:22 1214

原创 windows环境下 anacoda 安装scikit-surprise

本想在Pycharm里安装surprise包，但是一直报错没有visual c++ 14，后面装了整个microsoft visual 2015但是还是报错，搞了半天，好吧，放弃了！转攻anaconda，安装好anaconda3.x后，在启动jupyter prompt，使用命令：conda install -c conda-forge scikit-surprise我前面还用conda安装了n...

2018-04-17 11:21:49 4683 1

原创初探豆瓣爬虫

# coding:utf-8-bom#写爬虫防止被封的关键有以下几点：# 1、伪装请求报头（request header)# 2、减轻访问频率，速度# 3、使用代理IP#下面从国内高匿代理IP 获得代理IP数据import osimport timeimport requestsfrom bs4 import BeautifulSoupimport csvimpor...

2018-04-13 15:35:53 763

原创天猫爬虫第一例

# coding:utf-8import requestsimport jsonimport simplejsonimport timeif __name__=="__main__": headers={ 'Connection':'keep-alive', 'User-Agent':'Mozilla/5.0 (Windows NT 6.1;Win64;x...

2018-04-13 15:34:35 1083 1

原创谷歌Cloud AutoML自动机器学习平台初步研究

一、AutoML背景机器学习(Machine Learning, ML)技术近年来已取得较大成功，越来越多行业领域依赖它。但目前成功的关键还需依赖人类机器学习工程师完成以下工作：预处理数据选择适当的功能选择适当的模型系列优化模型超参数后处理机器学习模型严格分析所得的结果以上工作的复杂性通常超过了非机器学习专家的能力，随着机器学习应用的快速增长对自动机器学习方法产生了需求。目前，世界上只有小部分企业...

2018-04-13 15:25:28 5016

河南骏的博客