2020年04月_只会git clone的程序员

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Python网络爬虫与信息提取（8）—— scrapy框架基础知识

前言Scrapy爬虫框架结构爬虫框架是实现爬虫功能的一个软件结构和功能组件集合爬虫框架是一个半成品，能够帮助用户实现专业的网络爬虫约束了用户使用的模板5+2结构5表示的是SPIDERS、ENGINE、ITEM PIPELINES、DOWNLOADER、SCHEDULER这五个模块2表示SPIDERS与ENGINE链接的中间键和ENGINE与DOWNLOADER链接的中间键三条...

2020-04-30 13:36:05 356

原创 Python网络爬虫与信息提取（7）—— 用re库爬取淘宝商品信息

前言上一节用beautifulsoup库爬取了csdn的个人信息，这一节学习使用re库爬取淘宝商品信息。re库正则表达式常用符号：常用函数：分析网页在淘宝搜索物品就是将url结尾加上q = ?的关键字，这里以书包为例查看网页源码：可以看到，标签名字在raw_title中，价格在view_price中，那么就用正则表达式匹配这个字符串即可。代码# 淘宝商品比价impor...

2020-04-26 12:06:52 888 2

原创 Python网络爬虫与信息提取（6）—— 爬取csdn个人博客数据信息

前言上一节爬取了网络图片，写的不过瘾，最近发文访问量破1W了，主页看不到具体的访问量数有点小苦恼，刚好写个脚本来解决这个问题，练练手。技术框架bs4 + requests库bs4教程：Python中使用Beautiful Soup库的超详细教程这兄弟写的很详细，哈哈哈以后可以在这里查找要用的命令网页分析右键检查源码打开我自己的博客网站，然后ctrl + f搜索关键字“1万+”欧...

2020-04-25 18:15:42 478

原创智能车仿真 —— 室外光电创意组（racecar车模仿真，阿克曼车辆模型）

前言之前出了自己搭建的摄像头车模，平衡车车模，室外光电车模等，用的差速驱动多少有点瑕疵，这一次直接上阿克曼模型，完美还原赛车车模，速度上也有了提升，会重新搭建智能车系列教程，先上个视屏预热下。智能车室外光电创意组仿真这一周会提供教程链接，努力的码ing… …...

2020-04-25 01:11:53 2992

原创 Python网络爬虫与信息提取（5）—— 实战之爬取网页图片并保存

前言上一节用try except框架爬取亚马逊的信息，这一节用爬虫爬取网页图片完整代码import requests as reqimport ospath = "D:/" # 保存路径url = "http://bbs.jooyoo.net/attachment/Mon_0905/24_65548_04f46bb3e74aa77.jpg" # 爬取路径name = url.spli...

2020-04-23 18:30:12 905 1

原创 Python网络爬虫与信息提取（4）—— 实战之爬取亚马逊商品信息

前言上一节爬取了IP地址，这一节爬取亚马逊的单个商品信息，对爬取代码进行一点点优化。完整代码import requests as requrl = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"try: kv = {'user-agent': 'Mozilla/5.0'} r = req.get(url,headers = kv...

2020-04-23 16:08:14 1750 2

原创 Python网络爬虫与信息提取（3）—— 实战之IP地址归属地查询

前言前面学习了request库，这一节利用request库和beautifulsoup库爬取IP地址归属地。技术框架requests + bs4bs4官方介绍：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。Beauti...

2020-04-23 15:34:17 1704 2

原创北邮智能车仿真培训（九）—— 室外光电创意组仿真

前言前面的教程基本上是常规组别的，主要用于给大家写下摄像头的算法然后体会下PID，今天的教程是面向室外光电创意组的，从2019年钢铁侠科技公司赞助了100台车模开始有了这个组别，这也是智能车向人工智能领域迈进的一步，这个教程理论上也可以用来处理深度学习组别的比赛仿真。真实比赛的车模用的是阿克曼车辆模型，但是在仿真中不太好搭建… …尝试了用MIT的racecar来仿真但是他的教程有点少没太整明白，...

2020-04-21 18:19:36 2737 6

原创数据结构——两种交换排序详解（冒泡排序、快速排序）

前言这一节分析下两种交换排序，冒泡排序和快速排序交换的方法因为是交换排序自然是少不了元素的交换，之前看面试题的时候有看到要求不使用额外的空间交换两个数，这里先列举几个方法。交换的思想根据要求不申请额外空间，那么可以很直接的想到在已有的两个数上做操作，那么操作两个数自然能想到的就是加减乘除与或异或等操作，于是就有了下面三种方法。基于加减的不申请额外空间交换两数void swap(int...

2020-04-19 13:22:34 551 3

原创数据结构——三种插入排序详解（直接插入、折半插入、希尔排序）

前言插入排序具体有三种：直接插入排序、折半插入排序、希尔排序，陪女朋友复习数据结构，做个小总结吧。直接插入排序这个是插入排序中最简单的一个，算法原理直接用实例来介绍：假设原始数组是：3 1 4 2 6 2 1 6 7将数组分成两个区域，一个是有序区域一个是无序区域，最开始初始化有序区域（用黄色表示）为第一个数，无需区域为剩下部分。第一次：3 1 4 2 6 2 1 6 7将无序...

2020-04-16 22:43:55 5028 2

原创 Python网络爬虫与信息提取（2）—— 爬虫协议

前言上一节学习了requests库，这一节学习robots协议限制爬虫的方法审查爬虫来源，需要网站作者有一定的编程基础声明robots协议，一般放在网站的根目录下，robots.txt文件京东robots协议京东robots链接User-agent: *Disallow: /?*Disallow: /pop/.htmlDisallow: /pinpai/.html?*U...

2020-04-16 14:47:04 259

原创 Python网络爬虫与信息提取（1）—— 基于pycharm的requests库学习

前言一直有这个想法，看到csdn上有人说想学就快速入手，所以尝试的学习学习，记录下。学习目标掌握定向网络数据的爬取和网页解析的基本能力总体内容Requests：自动爬取HTML页面，自动网络请求提交robots.txt：网络爬虫排除标准Beautiful Soup：解析HTML页面Projects：实战项目Re：正则表达式提取关键信息Scrapy：专业网络爬虫的框架解析提...

2020-04-16 12:12:34 648

原创 tensorflow学习（13）- 卷积神经网络代码

前言上一节了解了一些基本的原理，这一节学习代码。卷积神经网络这是卷积神经网络的结构图，可以看到一般基本的流程就是：卷积——>池化——>卷积——>池化——>全连接层——>输出代码结构导入tf包等，加载数据集：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import in...

2020-04-13 13:59:04 583

原创 tensorflow学习（12）- 卷积神经网络基础

前言之前学习了传统的神经网络，尝试了手写数字的识别，之后学习下卷积神经网络。传统神经网络存在的问题权值太多，计算量太大了权值太多，需要大量样本进行训练样本大小最好是未知数的5到30倍这样的话需要的样本也非常大局部感受野根据猫视觉皮层得出的概念，基于此提出了神经感知机，是卷积神经网络的第一个网络的实现，CNN通过感受野和权值共享减少了神经网络需要训练的参数个数。卷积不同的卷...

2020-04-08 13:06:27 219

原创 tensorflow学习（11）- 使用tensorboard可视化手写数字识别训练过程

前言上一节可视化了训练的网络的权值偏置值等数据的曲线图，这节可视化网络的训练过程。代码import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datafrom tensorflow.contrib.tensorboard.plugins import projector#读取数据集mn...

2020-04-07 13:32:53 564

原创 tensorflow学习（10）- 使用tensorboard可视化网络数据

前言上一节尝试了使用tensorboard可视化神经网络，这一节学习使用tensorboard可视化网络的数据，例如隐藏层的权重偏置值等。代码import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据mnist = input_data.read_data_sets("...

2020-04-06 13:30:44 184

原创 leetcode（102）-二叉树的层序遍历

102.二叉树的层序遍历给你一个二叉树，请你返回其按层序遍历得到的节点值。（即逐层地，从左到右访问所有节点）。示例：二叉树：[3,9,20,null,null,15,7], 3 / \9 20 / \ 15 7返回其层次遍历结果：[ [3], [9,20], [15,7]]思路跟树的遍历有关，所以我首先想到的是递归，但是没有想到好写的递归...

2020-04-04 21:51:29 348

原创 java复制队列

队列头文件：import java.util.Queue;import java.util.LinkedList;定义队列：Queue<Integer> queue = new LinkedList<Integer>();复制队列：方法一queue.addAll(queue2) /** * Removes all of this col...

2020-04-04 17:56:51 2755 1

原创 tensorflow学习（9）- 使用tensorboard可视化网络

前言上一节使用adam优化器成功将手写数字识别的识别率优化到98%以上，这一节学习tensorboard的使用。tensorboard TensorBoard是一个可视化工具，它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候，我们可以设置不同的参数（比如：权重W、偏置B、卷积层数、全连接层数等），使用TensorBoader可以很直观的帮我们进行参数的选择...

2020-04-04 14:05:38 335

原创 tensorflow学习（8）- 使用AdamOptimizer优化器优化手写数字识别

前言上一节：tensorflow学习（7）- 使用Dropout优化手写数字识别上一节使用Dropout优化手写数字识别，使得识别率已经达到95%以上，但是我们手写数字识别在网络上并不复杂，而且训练集只是在万级别也不是很大，所以可以不必使用Dropout来提高准确率，这一节使用修改优化器的方式来优化识别。AdamOptimizer优化器 def __init__(self, lear...

2020-04-04 13:29:05 1468

原创 tensorflow学习（7）- 使用Dropout优化手写数字识别

前言上一节：tensorflow学习（6）- Mnist手写数字识别上一节使用了几种方式优化手写数字识别效果都不是很明显。这一节使用Dropout的方式优化识别算法，增加三层隐藏层。过拟合上图中第三幅图就是过拟合的函数式子，过拟合的名字已经很通俗易懂了，就是一个简单的问题你给出了一个很复杂的处理方法，在处理训练样例的时候它会表现出非常优异的结果，但是在测试用例上就效果不好了。所以...

2020-04-03 19:03:24 491

原创 leetcode（94）- 二叉树的中序遍历

94.二叉树的中序遍历给定一个二叉树，返回它的中序遍历。示例:输入: [1,null,2,3]1 \ 2 /3输出: [1,3,2]思路这个就很简单了，直接上代码，递归。代码实现中序遍历/** * Definition for a binary tree node. * public class TreeNode { * int val; * ...

2020-04-02 12:07:11 158 5

原创 leetcode（84）- 柱状图中最大的矩形

84.柱状图中最大的矩形给定 n 个非负整数，用来表示柱状图中各个柱子的高度。每个柱子彼此相邻，且宽度为 1 。求在该柱状图中，能够勾勒出来的矩形的最大面积。以上是柱状图的示例，其中每个柱子的宽度为 1，给定的高度为 [2,1,5,6,2,3]。图中阴影部分为所能勾勒出的最大矩形面积，其面积为 10 个单位。示例:输入: [2,1,5,6,2,3]输出: 10 这个题目的...

2020-04-01 13:32:16 160