![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python自学练习
dh0805dh
这个作者很懒,什么都没留下…
展开
-
我要一步一步网上爬
各种例题~1.爬取‘最好大学网’大学排名:#爬排名import requestsfrom bs4 import BeautifulSoupimport bs4#定义获取地址方法def getHTMLText(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() ...原创 2019-03-21 15:59:29 · 214 阅读 · 0 评论 -
分布式scrapy-redis搞一下当当
GKD# -*- coding: utf-8 -*-import scrapyfrom urllib.parse import urljoinfrom copy import deepcopyfrom scrapy_redis.spiders import RedisSpiderclass DangdangSpider(RedisSpider): name = 'dangd...原创 2019-05-16 15:10:42 · 126 阅读 · 0 评论 -
CrawlSpider一键爬取投标网
惊了个呆 不到20行爬完~# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Ruleimport reclass GgSpider(CrawlSpider): name = 'gg...原创 2019-05-11 18:16:51 · 761 阅读 · 0 评论 -
Scrapy爬一下苏宁图书
别说了,GKD,滴滴学生卡不上注释了哦 如果那里我写的不明白就留言哈# -*- coding: utf-8 -*-import scrapy,refrom copy import deepcopy# from book.items import BookItemclass SuningSpider(scrapy.Spider): name = 'suning' al...原创 2019-05-11 14:28:31 · 162 阅读 · 0 评论 -
scrapy-redis京东图书
GKD# -*- coding: utf-8 -*-import scrapy,jsonfrom urllib.parse import urljoinfrom copy import deepcopyclass JdSpider(scrapy.Spider): name = 'jd' allowed_domains = ['jd.com','3.cn'] st...原创 2019-05-15 21:31:21 · 146 阅读 · 0 评论 -
selenium模拟登陆截取验证码
向百度大大下手吧。。。大致思路1.打开chrome2.进入百度3.点击登录4.切换账号密码登录5.尝试获取验证码截图(密码输错三次就可以出现验证码了)GKDfrom selenium import webdriverfrom PIL import Imageimport time实例化browser = webdriver.Chrome()输入网址browse...原创 2019-05-19 22:24:51 · 2122 阅读 · 2 评论 -
scrapy爬取阳光政务投诉
先说好,本博客都是自己练手的,没有任何商业化什么的,如果要求删除请私聊,看到后会第一时间删掉,不要发律师函,谢谢,鸡你太美yg.py# -*- coding: utf-8 -*-import scrapyfrom yangguang.items import YangguangItem #item文件里定义了几个参数,下面放items.pyclass YgSpider(scrapy.S...原创 2019-05-09 13:28:47 · 324 阅读 · 0 评论 -
手机版百度贴吧scrapy爬取
我大LOL吧'http://tieba.baidu.com/mo/m?word=LOL&tn6=bdISP&tn4=bdKSW&tn7=bdPSB&lp=1050&sub4=%E8%BF%9B%E5%90%A7'这网页地址不用多说了吧然后右键检查记得打开toggle device toolbar# -*- coding: utf-8 -*-im...原创 2019-05-13 18:56:31 · 218 阅读 · 0 评论 -
生成完验证码,试着识别验证码
有些东西我们就要正正反反换个姿势再来一次比如说刚刚完成的~生成验证码试着识别一下验证码吧~安装(ocr)Optical Character Recognition,光学字符识别不是orz看清楚了ocr不是orzpip install pytesseract你以为这就安装完事了?呵呵天真还要下软件哦http://www.cnblogs.com/zhangxinqi/p/...原创 2019-04-30 22:31:01 · 273 阅读 · 0 评论 -
遇到ajax怎么办?scrapy爬虫搞一下腾讯招聘
都Ajax啦,思路不用讲啦,直接放爬虫的py文件# -*- coding: utf-8 -*-import scrapy,re #Ajax 嘛。。肯定要用正则啦,还要拼接URL哦from urllib.parse import urlencode class HrSpider(scrapy.Spider): #Network 中 查看XHR 找到 实际存放信息的链接 并...原创 2019-05-08 17:12:32 · 332 阅读 · 0 评论 -
pillow就是Python中的简化版Photoshop
thumbnail和resizefrom PIL import Imageimage_file = Image.open('heihei.jpg') im = image_fileprint('原图未操作:' + str(im.size))-->原图未操作:(700, 817)print('resize操作之后:' + str(im.resize((length//2,w...原创 2019-04-28 20:05:47 · 476 阅读 · 0 评论 -
python生成验证码
简化版from PIL import Image,ImageFont,ImageDraw,Imageimport stringimport random#定义画布大小w = 60*4h = 60#生成画布 rgb模式 长宽 底色im = Image.new('RGB',(w,h),(000))#定义画笔的字体大小 需要指定路径 大小font = ImageFont...原创 2019-04-29 18:10:32 · 121 阅读 · 0 评论 -
正则爬一下猫眼电影排行榜
分析走一走直接猫眼官网然后榜单一条龙右键检查dd(弟弟)标签包含了所有的排名信息再看看网页url搜打死内每页十个dd(弟弟)对应每页十个榜单url的最后offset=0和offset=10 and so on 对应的是第几页大概就是这么个情况那就仔细看看dd(弟弟)标签的内容不想多废话了上图图上啥也有那接下来干啥呢?盘他import reimport r...原创 2019-04-26 17:55:29 · 202 阅读 · 0 评论 -
爬小说~那必然是雪中悍刀行~
啥也别说了 雪刀走起天不生我李淳罡 剑道万古长如夜先爬一章试试水import requests #调用requestsfrom pyquery import PyQuery as pq #pq调用PyQuery#读网站url = 'http://book.zongheng.com/chapter/672340/36898237.htm...原创 2019-03-21 09:26:11 · 372 阅读 · 0 评论 -
模拟登陆哦~
使用Cookies模拟登陆大致思路1.手动登陆网站2.获取cookies3.携带cookies进行访问并抓取数据import scrapyclass XXX(scrapy.Spider): name = 'XX' allowed_domains = ['XXXX'] start_urls = ['XXXX'] #直接使用start_urls是无法登陆一些页面的...原创 2019-05-12 19:51:38 · 159 阅读 · 0 评论