Python博客
文章平均质量分 93
温华
这个作者很懒,什么都没留下…
展开
-
部署Scrapy项目到腾讯云服务器
前言打算把写完的爬虫项目放到服务器上定时运行,然后了解到有scrapyd这个方便管理爬虫,于是这篇文章的指向是在腾讯云服务器上运行scrapd,然后把我们的爬虫上传到scrapyd,使得scrapyd可以管理爬虫项目(注:没有通过文件传输工具把scrapy爬虫项目的文件上传到服务器,额,我是这么理解的,但是是通过scrapyd上传的egg)操作服务器是刚买的腾讯云的CentOS 7系统,没有...原创 2020-01-28 12:31:30 · 783 阅读 · 0 评论 -
Python操作mysql保存数据时解决数据中含有单引号报错方法
方法mysql在保存视频名称时遇到的数据插入错误,查一下原因发现报错视频名称主要都带有'单引号,会导致SQL语句被截断,从而产生错误解决办法如下:替换成两个单引号即可name = str(name).replace('\'', '\'\'')...原创 2020-01-28 12:02:12 · 998 阅读 · 0 评论 -
Python中 *args 和 **kwargs 的区别
先来看个例子:def foo(*args, **kwargs): print 'args = ', args print 'kwargs = ', kwargs print '---------------------------------------'if __n...转载 2018-07-07 20:59:37 · 213 阅读 · 0 评论 -
python3安装.whl文件时遇到的超时错误
解决办法: 对应的python版本,在windows的命令行下是输入: pip –default-timeout=100 install -U pip 由于我的电脑上装了2和3,且命名区别了开来,所以对应的为: python3 -m pip –default-timeout=100 install -U pip个人总结: Python安装库的时候的三种方式在...原创 2018-07-13 18:07:31 · 2460 阅读 · 2 评论 -
python装饰器学习
“你会Python嘛?” “我会!” ‘那你给我讲下Python装饰器吧!’ “Python装饰器啊?我没用过哎” 简言之,python装饰器就是用于拓展原来函数功能的一种函数,这个函数的特殊之处在于它的返回值也是一个函数,使用python装饰器的好处就是在不用更改原函数的代码前提下给函数增...转载 2018-07-13 14:01:14 · 150 阅读 · 0 评论 -
python爬取网易云音乐评论
前言原创 2018-07-01 14:17:14 · 5268 阅读 · 2 评论 -
python 巧用eval函数将str转换成其它数据类型
eval 功能:将字符串str当成有效的表达式来求值并返回计算结果。 语法: eval(source[, globals[, locals]]) -> value 参数: source:一个Python表达式或函数compile()返回的代码对象 globals:可选。必须是dictionary locals:可选。任意map对象...转载 2018-06-10 12:36:15 · 2260 阅读 · 0 评论 -
Python Matplotlib安装
Python Matplotlib安装 由于需要对数据进行画图分析,需要import Matplotlib 于是在网上找了很多资料,整合起来,方便记忆 在pycharm上安装老是安装不上不知道怎么回事,又试了在cmd上安装,结果老是出现安装超时 普通的安装超时可以用如下方法:pip --default-timeout=100 install -U pip 加大超时时间...原创 2018-06-08 23:01:14 · 431 阅读 · 0 评论 -
python爬取图片并以二进制方式保存到本地
本篇主要介绍python 爬取图片并以二进制形式保存到本地这回爬取的是一个写真图片网站,上面有一个365日365枚照片写真 写真图片网站链接明确目标,爬取每一页的20张图片,循环生成没一页的url,爬取一页时生成一个对应的页数的文件夹在本地,将图片以二进制保存下来1、 那么第一步就是requests获取网页的源码了,接着就是分析图片所在的标签,也就是我们需要的通过正则获取的内容...原创 2018-06-14 22:33:01 · 10129 阅读 · 0 评论 -
python爬取喜马拉雅FM音频
前言之前写过爬取图片的一篇文章,这回来看看如何爬取音频。图片,音频,视频这类都可以通过二进制方式保存到本地下载下来。 爬取图片文章的链接: python爬取图片并以二进制方式保存到本地目标本次我们爬取的目标是–喜马拉雅FM 喜马拉雅FM有数不计的音频,这些音频都有自己的分类,所以进一步给自己抛出一个需求,爬取喜马拉雅所有分类的音频接下来我们来分析这些分类,找到所有分类 h...原创 2018-06-22 12:05:04 · 7075 阅读 · 1 评论 -
python 将输出打印在同一行
Python2.7 要将输出打印在同一行只需在其后加个“,”即可(被寄几蠢哭),所以记下来!例:n=3while n>0: print '*', n -= 1n=3while n>0: print '*' n -= 1若python3则可以print('*',end="")...原创 2018-06-04 22:45:04 · 13861 阅读 · 0 评论 -
python爬取爱回收华为手机回收信息
话说在前头,爬爱回收对我这个菜鸟来说,真的很操蛋...首先明确一下目的,本来是想着爬取全部的价格数据,但是想想未免太多,所以先从手机-华为开始爬起(可以自行通用到其他回收品)我们看看具体的信息在哪里可以得到按F12打开Chrome的开发者工具,点击免费查询,通过异步加载得到的数据在这里好嘛,到时候get一下这个url,拿到api的内容就行了,但是url中最后的数字串是变化的(如何获取在后面讲解)既...原创 2018-05-27 12:24:48 · 2109 阅读 · 1 评论