从0开始的程序猿生活

序言从本节起，将正式走入深度神经网络的大门。关于什么是alexnet、什么是cifar10自行百度。在学习卷积神经网络前，得明白什么是卷积、什么是池化。详细的解释见基础理论中提供的pdf文档。本节主要是使用cifar10数据集对alexnet进行训练，提高对测试集的检测成功率。基础理论https://pan.baidu.com/s/1yv5VIYLjoOPFEwuw1Abw2g详细代码i...

序言上一节学习了使用多层神经网络进行多分类问题的研究，这次我们使用多层神经网络进行回归问题的探索。同时学会如何在pytorch上使用GPU进行计算。本次的数据集不像上一节直接从网上下载就可以使用的标准数据集，模拟“自己采集的数据集”进行预处理，再进行训练。基础理论本节没有过多理论，只提一点，想使用GPU进行计算，只需要再输入的tensor与模型上加上‘.cuda()’就行，但想把计算结果转n...

序言学习的内容逐渐深入，务必一步一脚印，否则后面的看不懂哈。本节学习内容，主要学习了多分类问题的求解方法，初步学习了图像识别问题。熟悉了著名的MINIST数据集。基础理论https://pan.baidu.com/s/1jMu-FZlTu6GDdy6fYN-5Kg主要介绍了MINIST数据集，SOFTMAX函数以及loss函数交叉熵。这些都是循序渐进的，如果想稍微了解一些原理，务必学习前面...

序言本次设计一个简单的三层神经网络模型。上一章学习了一个线性的分类模型。但如果数据集无法用一条线、一个面进行分类呢？此时神经网络就有用武之地了。但是本次实验还是用的上次的数据集，有效果就行~原理与数据集https://pan.baidu.com/s/1kkZl3Shj6D5djmx0H8ifqw为什么要标准化，有哪些标准化的方法，详细自行百度。本实验采用常用的简单标准化方法min-max。...

序言上一章学习了一个线性回归模型，这次我们了解一下一个简单的分类模型logistic。其实就是在线性模型外加了一个sigmod函数。具体原理pdf与本次实验用数据见网盘。原理与数据https://pan.baidu.com/s/1FoV6V7n0ljBHLB5jF-FBeQ数据样例：34.62365962451697,78.0246928153624,030.2867107682260...

序言笔记（二）只是给一个大致映像，步子跨的比较大。现在，一步步，扎实的记录分享学习过程。主要记录代码，详细的原理自行百度。详细代码import torchimport numpy as npimport matplotlib.pyplot as plt#一个简单的线性例子#参数点x_train = np.array([[3.3], [4.4], [5.5], [6.71], [6...

Pytorch学习笔记(一)----安装Pytorch说明：默认已安装好Anaconda3与CUDA。因之前有用python研究过爬虫与tensorflow，所以这两个电脑里有。1、确认CUDA版本打开NVIDIA控制面板，选择帮助中的系统信息，点击组件。确认CUDA的版本。如图所示我的是9.2。如果电脑没有gpu，则忽略此步。2、生成安装命令打开Pytorch官网。按照自己系统的...

之前爬取过2017年的数据 详见Python爬虫练习五：爬取 2017年统计用区划代码和城乡划分代码（附代码与全部数据），下面有评论说广东省的数据缺少了东莞与中山两个市的数据，检查网页结构发现确实是代码没考虑到，这两个市没有区级，直接到街道、办事处级了。考虑到代码的复用性、以及唯独此两个市的特殊性，（其实是懒），在源码不变的情况下，添加以下代码处理此两市的数据。在Spiders.py ...

有段日子没写博客了，工作略忙~（这是借口）回归正题，验证码是爬虫永远绕不过去的坎。无论你是常规爬取还是用selenium+无头浏览器进行用户的登陆操作，都需要识别验证码。为了搞验证码，搞得对图像也有了初步的了解，不废话说结论。安装：环境：win10，anaconda3 ，python3.61、开源OCR tesseract 下载网址https://digi.bib.uni-ma...

  本文仅供学习，需要数据的文末有链接下载，请不要重复爬取。  最近工作中，因为统计用区划代码和城乡划分代码更新了最新的2017版，需要爬取最新的数据。于是乎，本次花了一定精力，将整个2017版数据完完整整的爬了下来。相较于第一次爬虫练习的2016版，本次改进很多，主要特点如下。  1、通过尝试爬取目标网址，发现相较于以往，竟然设置了反爬虫手段，在进行get请求的时候需要增加header...

    目标网址：http://jandan.net/ooxx。    经研究发现，煎蛋网设置了大量的反爬虫机制（果然妹子是第一生产力，网站被爬的痛了），隐藏了图片地址，搞了半天没找出规律。心一横，采取曲线路线，成功爬取大量妹子图~    selenium可以模仿人操作浏览器，从而达到通过与浏览器交互的方式，使服务器上的反爬虫机制失效。但这种方式也有其缺点：1、必须要打开浏览器，程序模拟人对浏览器...

    目标网址url:    https://movie.douban.com/typerank?type_name=%E5%8A%A8%E4%BD%9C&type=5&interval_id=100:90&action=    使用谷歌浏览器的检查功能对网站进行分析，发现需要爬取的内容在class‘movie-list-item playable unwatched’下...

爬取这个小说网站真的很EASY！很有成就感~适合爬虫的初学者！以一个叫《凡人修仙传仙剑篇》的小说作为目标进行爬取测试。废话不多说，上代码！import requestsfrom bs4 import BeautifulSoupaimurl="http://www.biquge.com.tw/18_18998/"#爬虫目标网址url="http://www.biquge.com.tw"#hre...

    目标网址：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2016/index.html    爬取所有市级的统计用区划代码和区级、县级的url（即目标网页第二层链接的内容全部爬取），区级、县级及以下的区划代码没有爬取。    网站构造比较简单，容易爬取成功。import requestsfrom bs4 import Beautiful...

例题：输入一个字符串和一个整数，输出右移后的字符串。例如输入字符串str=“1234567”, 整型n=3,输出字符串str=“5671234”。思想：step1.生成一个辅助数组temp[n]存放要前移的部分“567”。         step2.将没有前移的部分从后向前依次向后移动。str变成“1231234”。          step3.将辅助数组中的字符覆盖str前n位。str变成“...

例题：将“i am from shanghai”=>"shanghai from am i".思想：翻转分为两部，第一部将整个字符串全部翻转变成“iahgnahs ....”，然后依据空格，再将每个单词翻转变成“shanghai ...”.这两个步骤可以调换，即先单词翻转，在整个字符串翻转。另外C++有reverse函数。void reverse(char* str){ asser...

当运算的俩个数超过了int、float、double的时候，该如何运算呢？简单例题：两个正整数，无限大，输出两个数相加的结果。思想:表示无限大的数，只有使用字符串来表示了，所以使用字符串来模拟计算过程是大数处理的过程。#include <iostream>#include<stdlib.h>#include<string.h>using namespace...

首先我们先通过一题来了解一下实参与形参间值传递的方式。例题1：void Getmemory(char *p){ p=(char *)malloc(100);}int main(){ char *str=NULL; Getmemory(str); strcpy(str,"hello!"); cout<<str<<endl;}...