python 学习
舒然---小广广
这个作者很懒,什么都没留下…
展开
-
利用Python爬取静态网页的图片
看了许久的python书,想着还是要实际操练一次,每一个自学python的人,我相信都会想要利用python 爬取网上的一些有用的资源。小编也是想着爬取一些所谓的收费电影看看,但是,奈何学的不深,刚实验成功,爬取新浪图片网的部分图片代码:#coding = utf-8import urllib.requestimport redef getHtml(url): page = url...原创 2018-02-25 17:02:52 · 889 阅读 · 0 评论 -
Flask框架基础入门教程
文章目录前言Flask 基础概念和安装Flask 快速入门小应用Flask 之模板的使用后续,待更新。。。。前言最近开始学习flask 框架,本文用于flask 框架的基础入门学习,版本使用的是py3.7,学习内容相对比较简单,后续再扩充高级知识。Flask 基础概念和安装首先我们得清楚,flask 具体是个什么东东?我们学了flask 有啥用?这里给出维基百科的解释:Flask是一个使...原创 2019-07-08 11:03:54 · 6972 阅读 · 2 评论 -
基于Scrapy 爬取豆瓣TOP电影(经典到不能再经典的例子了,23333)
先附上源代码的github 链接:传送门手写了那么多次爬虫,多多少少都会发现,很多代码都在重用,有代码经常性的在重复使用,说明,这些代码肯定有框架可以直接实现,Scrapy就是写爬虫最常用的一个框架,本着学习与娱乐结合的意愿,咱就用这个框架去爬一下最经典的豆瓣top250的电影吧。当然,本文是参照了博客:传送门来写的,这是一个经典的爬虫案例,所以,大致代码,大家都差不多。...原创 2019-06-23 22:40:19 · 1242 阅读 · 0 评论 -
windows 下更改Pip的默认安装源
近日在利用pip 安装scrapy 的时候,发现会报error:Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ConnectTimeoutError(<pip._vendor.urllib3.connection.Veri...转载 2019-06-25 10:22:28 · 3175 阅读 · 1 评论 -
Python select模块使用实例(select,poll两种方式实现sever端)
注意:select 可以使用在任意平台上(windows & Linux),但是poll 只能使用在Linux下select 实现:# coding=utf-8# @Author : LYG# @Time : 2019/2/28 11:12# @Name : server.py# coding: utf-8import selecti...原创 2019-03-01 11:31:25 · 2020 阅读 · 2 评论 -
Python 爬取公众号的历史文章
简单直接上:原理:利用搜狗搜索访问指定公众号,获得公众号最新的前10篇文章,注意需要利用select +PhantomJS 加载js 的内容,以及‘&’的转义(代码后附上特殊符号转义)缺点:只能获取到最新的10篇文章,若需要获取所有历史文章,可以通过微信公众平台的方法获取,网上有解决方案# encoding=utf8# @Author : LYG# @T...原创 2019-02-14 11:33:00 · 1335 阅读 · 1 评论 -
Python 使用代理IP 编写爬虫(urllib2)
最近在爬公众号的文章,今天一遇IP被封,不知道何时解封,就跟着网上的资料学了下如何使用代理IP进行爬取亲测可行。 参考文章:urlopen error [errno 10060]的解决思路使用urllib2实现代理IP爬取python爬虫设置代理ip池——方法(一) 代理IP网站:https://www.xicidaili.com/ 详细代码(附上详细注释)...原创 2019-02-15 11:46:14 · 1128 阅读 · 2 评论 -
pyCharm 专业版最新激活方法
pyCharm最新激活方法亲测可行,转发保存一下传送门转载 2019-01-07 11:17:55 · 5733 阅读 · 0 评论 -
Python 实现微信每日一句
本来想爬微信公众号的,突然想起这个,自己以前就想做的事,结果网上一搜一大把,参照一篇博客,几分钟就能写出来 直接贴代码:ps:search里是写你微信好友自己的昵称,不是备注!不是备注!不是备注!# coding=utf-8from threading import Timerfrom wxpy import *import requestsbot = Bot()...转载 2018-12-18 16:25:28 · 842 阅读 · 4 评论 -
Python 爬取数据后以Excel格式保存,并自动发送邮件
最近需要根据关键字爬Linux 公社:传送门 ,里头相关的信息下来,老是爬爬爬也没啥意思,因此这次爬数据,自己就添加了两个附加功能:1.将爬取到的信息,保存为Excel文件2.保存文件成功后,自动发送邮件给我,以添加附件的方式 说干就干!(对了,环境是Py2.7) 首先是爬取信息的脚本:# coding=utf-8# @Author : LYG# @Time...原创 2018-12-18 16:08:19 · 2031 阅读 · 0 评论 -
Python 之LibSVM的安装
事先说明lz的环境:py2.7 win7 64 先去下载对应版本的libsvm包https://www.lfd.uci.edu/~gohlke/pythonlibs/#libsvmlz 下载的27-win_amd64.whl这个 通过 pip install libsvm路径安装成功后还要操作个东西,去你的python 安装目录下找到libsvm.d...原创 2018-12-28 17:42:46 · 2104 阅读 · 0 评论 -
Python--获取包含指定文本内容的标签
举个栗子:我需要获取包含“Linux Security Week”文本的标签里面的链接,可通过以下方式: 在网上的帖子上还看到其他的方式(用的不是我这个例子):传送门...原创 2018-12-17 16:18:12 · 3317 阅读 · 0 评论 -
Python --关于定时任务(Schedule)出现异常,怎么让程序可以继续运行?
把要执行的函数包装在装饰器里面,当异常发生的时候,Schedule不会退出定时器模式,能够捕获异常,并且保持程序处于运行状态。 举个栗子:catch_exceptions 函数里面的最后一个参数,设置成false,表示继续按照计划执行下一次任务设置成true,表示退出计划任务,继续执行,计划任务后面的代码 ...原创 2018-12-17 16:10:27 · 6623 阅读 · 0 评论 -
Python 实现发送QQ邮件(可加附件)
东西比较简单,简单讲一下,直接贴代码了,其他邮箱都类似。1.首先在qq 邮箱里面把stmp服务 打开2.拉到下面,开启第一个,发送短信验证后会得到一个授权码: 3.代码,要注意的地方我都贴了注释:# coding=utf-8import smtplibfrom email.mime.text import MIMETextfrom email....原创 2018-12-17 16:01:37 · 3301 阅读 · 0 评论 -
Python 2.7 安装MySQLdb模块
百度教程说安装pip install mysqldb这在我的电脑上安装失败: Could not find a version that satisfies the requirement mysqldb (from versions: )No matching distribution found for mysqldb所以应该:pip install MySQL...转载 2018-09-13 10:02:17 · 12315 阅读 · 3 评论 -
python爬虫--爬全民k歌里面的视频和音频
近几天经常玩全民k歌,最近用全民k歌录了一首mv,结果大家听了反应还不错,就想着把原视频再下载下来,然后保存在手机里,结果发现,全民k歌里面下载音频和mv 都需要vip 才可以,哇...我是视频的上传者,竟然都还不让我自己下载!!!!,不行,我可是程序员,于是,便思考着如何写个爬虫把数据爬下来.... 首先,第一反应就是把打开歌曲链接,f12审查元素.会发现,我们的视频链接在...原创 2018-05-24 22:36:44 · 3896 阅读 · 1 评论 -
利用python 爬取动态页面的图片(以百度图片为例)
前一阵子写了一个爬静态网页图片的爬虫,一直都还没写过爬动态网页的爬虫,最近在ubuntu上面装了pycharm 跟着网上的博客写了一个爬动态页面图片的爬虫,文章是以爬百度图片为例,还是很好懂的,贴的代码就是自己根据原文改写的.文章转自:https://blog.csdn.net/qq_32166627/article/details/60882964.前言:前面我们爬取图片的网站都...转载 2018-05-16 19:15:16 · 17119 阅读 · 6 评论 -
Python -- Flask 框架学习
学习使用Flask框架:基于 Python 3 的 Flask 教程中文版先mark , 等学习到一定程度,再记录。转载 2019-07-04 10:43:40 · 272 阅读 · 0 评论