![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 83
polyhedronx
这个作者很懒,什么都没留下…
展开
-
python实战笔记之(6):使用代理处理反爬抓取微信文章
搜狗(http://weixin.sogou.com/)已经为我们做了一层微信文章的爬取,通过它我们可以获取一些微信文章的列表以及微信公众号的一些信息,但是它有很多反爬虫的措施,可以检测到你的IP异常,然后把你封掉。本文采用代理的方法处理反爬来抓取微信文章。(1)目标站点分析打开搜狗微信,输入要查找的内容,比如我们输入“风景”,就会出现微信文章的列表,向下翻动我们可以发现每页有10条内容,...原创 2018-08-11 00:43:22 · 1945 阅读 · 0 评论 -
python实战笔记之(12):Scrapy框架安装
一、什么是ScrapyScrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。...原创 2018-09-06 16:38:41 · 313 阅读 · 0 评论 -
python实战笔记之(13):Scrapy基本用法实例讲解
Scrapy是一个非常强大的异步爬虫框架,它已经给我们写好了许许多多的组件,使用Scrapy我们只用关心爬虫的逻辑就好了。本文通过一个简单的项目了解一下Scrapy的爬取流程,对Scrapy的基本用法也有一个大体的了解。一、目标站点分析Scrapy提供了一个官方抓取网站:http://quotes.toscrape.com,主要列出了一些名人名言,相应的作者和标签信息。下拉到底点击...原创 2018-09-07 00:34:42 · 3999 阅读 · 0 评论 -
matplotlib转义字符全集,编写数学表达式
编写数学表达式原文:Writing mathematical expressions译者:飞龙协议:CC BY-NC-SA 4.0你可以在任何 matplotlib 文本字符串中使用子 TeX 标记,将它放在一对美元符号($)内。注意,你不需要安装 TeX,因为 matplotlib 提供了自己的 TeX 表达式解析器,布局引...转载 2018-09-24 13:07:58 · 1612 阅读 · 0 评论 -
python的常见矩阵运算
原文链接:https://blog.csdn.net/taxueguilai1992/article/details/46581861python的numpy库提供矩阵运算的功能,因此我们在需要矩阵运算的时候,需要导入numpy的包。1.numpy的导入和使用from numpy import *;#导入numpy的库函数import numpy as np; #这个方式使用num...转载 2018-09-24 13:23:57 · 2414 阅读 · 0 评论 -
使用 pip-review 同时更新所有python包
下面列出一些常用的pip操作:pip --version # 查看版本和路径pip install -U pip # 更新pippip install SomePackage # 安装包pip install --upgrade SomePackage # 更新包pip uninstall SomePackage # 卸载包pip show SomePackag...原创 2019-06-22 18:04:16 · 8228 阅读 · 4 评论 -
TensorFlow实战笔记之(1):Softmax Regression 实现手写数字识别
基于MNIST数据集的手写数字识别可以看作是机器学习领域的 “Hello World” 任务。MNIST是一个入门级的计算机视觉数据集,它包含各种手写数字图片及对应的标签,图片的大小为28×28,且只包含灰度值信息:TensorFlow的一些入门知识主要参考了黄文坚所著的那本《TensorFlow实战》以及TensorFlow中文社区,里面已经将的非常详细了,所以就不再赘述。Sof...原创 2019-06-22 22:11:38 · 497 阅读 · 0 评论 -
Tensorflow 优化器
所谓的优化器,就是tensorflow中梯度下降的策略,用于更新神经网络中数以百万的参数。工程师们除了在不断的推出新的神经网络的结构以外,还在不断的推出新的参数更新的策略,在这篇博客中,我们就列举tensorflow中所有的优化器,并对几个进行讲解。为了列举所有的...转载 2019-06-23 20:19:22 · 715 阅读 · 0 评论 -
TensorFlow优化算法 tf.train.AdamOptimizer 简介
AdamOptimizer是TensorFlow中实现Adam算法的优化器。Adam即Adaptive Moment Estimation(自适应矩估计),是一个寻找全局最优点的优化算法,引入了二次梯度校正。Adam 算法相对于其它种类算法有一定的优越性,是比较常用的算法之一。一、算法流程初始化:更新规则:二、 参数定义__init__( learning...原创 2019-06-23 20:47:15 · 36953 阅读 · 0 评论 -
TensorFlow实战笔记之(3):神经网络优化策略
根据我前面两篇博客Softmax Regression 实现手写数字识别和简单神经网络 实现手写数字识别的结果,使用单层的Softmax Regression进行手写数字识别的准确率约为92%,而加了一层隐层之后,准确率只有80%左右,令人感到意外,因为一般网络越深,分类效果应该越好才对。不过简单分析一下,原因可能就是加了一层隐层之后参数数量变大,容易产生过拟合等。单层的Softmax Regre...原创 2019-07-02 17:43:21 · 518 阅读 · 0 评论 -
在Windows上将Ctrl+C信号发送到Python subprocess子进程
一、问题描述在用Python爬取网络视频时,利用了ffmpeg下载并合并m3u8文件,在CMD上运行结果如下:C:\Users\fz.000>ffmpeg -i "https://vdn.vzuu.com/Act-ss-m3u8-hd/c5777f43b2ca4e588c3747d9c4ca2838/39068440-68b3-11e8-bb26-0242ac112a1eNone....原创 2018-08-24 22:31:05 · 10242 阅读 · 7 评论 -
关于_tkinter.TclError: image "pyimage1" doesn't exist 问题的解决办法
原代码如下:from tkinter import *from tkinter.filedialog import askopenfilenamefrom PIL import Image,ImageTk class mainapp: def __init__(self): roo...转载 2018-08-21 17:34:19 · 11374 阅读 · 1 评论 -
python 模块相互import
模块A中import B,而在模块B中import A。这时会怎么样呢?这个在Python列表中由RobertChen给出了详细解释,抄录如下:[A.py] from B import D class C:pass [B.py] from A import C class D...转载 2018-08-21 17:32:23 · 9917 阅读 · 0 评论 -
python中去掉字符串中的\xa0、\t、\n
今天帮女朋友从网络上收集一些信息,但是发现提取出的信息中有“\xa0”,并且无法去掉,查阅了相关资料,后发现该字符表示空格。\xa0 是不间断空白符   我们通常所用的空格是 \x20 ,是在标准ASCII可见字符 0x20~0x7e 范围内。 而 \xa0 属于 latin1 (ISO/IEC_...转载 2018-08-10 23:50:41 · 3630 阅读 · 0 评论 -
python实战笔记之(7):使用Redis+Flask维护动态Cookies池
本文主要描写了使用Redis和Flask维护一个动态Cookies池的相关过程。(1)为什么要用Cookies池?有些网站需要登录才能爬取,例如新浪微博 爬取过程中如果频率过高会导致封号 需要维护多个账号的Cookies池实现大规模爬取(2)Cookies池的要求自动登录更新 定时验证筛选 提供外部接口(3)Cookies池架构Cookies池的架构采用下图所示的形式:...原创 2018-08-11 13:48:28 · 825 阅读 · 0 评论 -
python实战笔记之(4):刷博客浏览量
看着自己写的文章浏览数一点一点增加是非常开心的,但总感觉浏览数增长地太慢了,于是自然想到,为什么不能写一个小程序自动刷博客浏览量呢?Let's do it首先,我们尝试用requests打开博客url,看看浏览量是否会增加(当然要用到一点点伪装技术):import requestsfrom requests import RequestExceptiondef get_page(...原创 2018-08-07 12:52:33 · 157194 阅读 · 21 评论 -
Python异常及处理方法总结
调试Python程序时,经常会报出一些异常,异常的原因一方面可能是写程序时由于疏忽或者考虑不全造成了错误,这时就需要根据异常Traceback到出错点,进行分析改正;另一方面,有些异常是不可避免的,但我们可以对异常进行捕获处理,防止程序终止。1 异常类型1.1 Python内置异常Python的异常处理能力是很强大的,它有很多内置异常,可向用户准确反馈出错信息。在Python中,异常也...原创 2018-08-12 00:32:48 · 73047 阅读 · 4 评论 -
python实战笔记之(8):下载知乎视频
这篇想写很久了,今天专门搞了搞,现在把用python下载知乎视频的整个流程码下来。(1)目标站点分析比如这篇知乎文章https://www.zhihu.com/question/279247693/answer/442578073里有一个小视频,我们想把它下载下来,首先对该网页进行分析。先来看一下原始请求:原始请求有没有返回视频的链接呢?我们点开“Preview”和“Respons...原创 2018-08-12 23:52:08 · 2072 阅读 · 0 评论 -
python实战笔记之(5):使用Redis+Flask维护动态代理池
在做爬虫的时候,可能会遇到IP被封的问题,利用代理就可以伪装自己的IP进行爬虫请求。在做爬虫请求的时候需要很多代理IP,所以我们可以建立一个代理池,对代理池中的IP进行定期的检查和更新,保证里面所有的代理都是可用的。这里我们使用Redis和Flask维护一个代理池,Redis主要用来提供代理池的队列存储,Flask是用来实现代理池的一个接口,用它可以从代理池中拿出一个代理,即通过web形式把代理返...原创 2018-08-08 12:02:11 · 2243 阅读 · 0 评论 -
python实战笔记之(9):TKinter制作知乎视频下载器
前两天写了一个下载知乎视频的小程序,现在给他加了个图形界面,并生成exe文件。同时对原来的程序进行了优化,使用多线程进行任务分配和下载ts文件,解决了GUI卡顿的问题并大大加快了下载速度。界面如下:功能:1.自动检测文章链接是否规范以及链接对应的文章是否含有视频 2.自动检测视频保存路径的规范性,路径可以自己填入或点击“打开”按钮选择 3.可以选择视频质量,有HD、SD、LD三...原创 2018-08-15 21:55:00 · 1208 阅读 · 3 评论 -
Python TKinter 布局管理 (Pack Place Grid)
Tkinter是Python常用的一个GUI库,本文主要介绍了Tkinter的布局管理部分。Tkinter有三种布局管理方式:pack grid place这三种布局管理在同一个 master window 里是不可以混用的。pack布局管理pack布局非常简单,不用做过多的设置,直接使用一个 pack 函数就可以了。1、我们使用 pack 函数的时候,默认先使用的放到上...转载 2018-08-13 19:05:18 · 33925 阅读 · 1 评论 -
python实战笔记之(10):使用pyinstaller打包python程序
做了一个图形界面的小程序,想要分享给别人的话,就要把它打包成exe文件,这样其他人不用安装python环境还有各种库就可以使用了。在打包之前,要保证你当前使用的python环境是“干净”的,什么是干净的,为什么要是干净的的呢?这是因为我们打包的时候只需要把程序中用到的包打包就行了,如果你当前使用的环境安装的包太多的话,比如你用的是Anaconda自带的python环境,里面包含了大量的我们根本...原创 2018-08-16 16:36:26 · 8726 阅读 · 2 评论 -
@staticmethod和@classmethod的用法
讲解一一般来说,要使用某个类的方法,需要先实例化一个对象再调用方法。 而使用@staticmethod或@classmethod,就可以不需要实例化,直接类名.方法名()来调用。 这有利于组织代码,把某些应该属于某个类的函数给放到那个类里去,同时有利于命名空间的整洁。既然@staticmethod和@class...转载 2018-08-21 17:31:14 · 85430 阅读 · 16 评论 -
TensorFlow实战笔记之(4):卷积神经网络(CNN) 实现手写数字识别
一、引言前一篇博文使用单隐层的全连接神经网络,并结合一些神经网络的优化策略,如指数衰减学习率、正则化、Relu激活函数和Adam优化算法等,用包含100个隐层神经元的神经网络实现了MNIST数据集上手写数字识别98%的准确率。但是全连接神经网络也是有局限的,即使使用很深的网络、很多的隐层结点、很大的迭代轮数,也很难在MNIST数据集上得到99%以上的准确率。不过,卷积神经网络的出现解决了这一问...原创 2019-07-03 16:30:31 · 6182 阅读 · 0 评论