Python 爬虫应用例子
关注
分享
扫一扫
爬取简单的小网站来收集数据，最重要可以方便数据抓取
SquirrelPineal
冰冻三尺,非一日之寒；
滴水石穿,非一日之功.
故不积跬步,无以至千里；不积小流,无以成江海
阅读过的书籍《颈椎病康复指南》,《腰椎间盘突出日常护理》,《心脏病的预防与防治》,《高血压降压宝典》,《强迫症的自我恢复》,《精神病症状学》,《三分钟防脱发》《黑眼圈和皮肤护理》《Mysql从删库到跑路》《活着》
展开
-
python爬取有道词典进行中英翻译
以下代码仅供学习和参考，如有侵权请联系删除有道词典的解密说简单也很简单，说难也难。简单是js的解密简单，不像google一样复杂,难是难在反爬虫上请求的url要用这个链接进行post http://nmt.youdao.com/translate?smartresult=dict&smartresult=rule一般新手小白可能就开始在{"errorCode":50}上面了,以下代码可以直接复制粘贴使用，做个记录import hashlib,time,randomimport re.原创 2021-10-23 19:50:28 · 305 阅读 · 1 评论 -
python贴吧签到多账号版本最新可用
使用说明源码毫无保留的全部上传了，防止过快被和谐，设置了2个币下载。直接下载就可以使用了。1、创建auth_cookies.json文件，如下：{ "auth": [ { "账号1": { "BDUSS": "", "STOKEN": "" }, "账号2": { "BDUSS": "",原创 2020-06-24 14:12:05 · 403 阅读 · 0 评论 -
python random取列表随机字符串
在列表里面用choice就可以了，如果是多个文本可以用 choicesimport random#倒入关键词，txt文本形式，换行区分开web_list = ['web','web1','web2','web3','web4']with open('keywords.txt','r',encoding='utf-8') as fild: keywordfild=fild.read(...原创 2020-04-13 17:25:50 · 1779 阅读 · 0 评论 -
selenium小案例
用作记录from selenium import webdriverfrom selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameExceptionfrom selenium.webdriver import ChromeOptionsimport pickle,time...原创 2020-03-21 22:08:07 · 317 阅读 · 0 评论 -
爬取斗图表情包
用于技术交流和代码保存import requests,osimport re,randomimport json,timeclass DoutuCrawl: def __init__(self,keyword=None,type='photo',more=1,page=2): self.locationLink ='https://www.doutula.com...原创 2019-04-05 15:55:47 · 712 阅读 · 0 评论 -
Python爬取京东商品评论和图片下载
Python爬取京东商品评论和图片下载代码仅供学习使用，切勿扩散并且频繁爬取网站贴上代码和注释，方便自己下次看原创 2019-01-29 15:45:51 · 5685 阅读 · 0 评论 -
Python request爬虫框架
Python request爬虫基本框架The Website is api…爬冲基础requests ，爬取页面Html页面请求页面；robots，网络爬虫标准；Beautiful Soup，解析HTML页面；Re 正则表达式提取；Scrapy[^1] 大型框架；###requests 基本函数#import requests#url='http://www.baidu...原创 2019-01-22 14:01:52 · 1422 阅读 · 0 评论