spider
日出2133
代码是写给人看的,而不是写给机器运行的。
展开
-
Python requests post 提交form-data表单
import json params = { 'timestamp':timestamp, 'nonce':nonce, 'apikey':APIKEY, 'signature': signature } data = { 'name':(None, name), 'phone': (None, str(phone)), 'idnum': (None, idnum), 'products': (None, json.dumps([201,]))...转载 2021-06-22 14:03:16 · 1478 阅读 · 0 评论 -
python爬虫之 selenium + phantomjs 爬斗鱼所有直播间
废话不多说,上代码import json import time from selenium import webdriver class douYuSpider(): def __init__(self): self.start_url = 'https://www.douyu.com/directory/all' self.driver = webd...原创 2018-03-10 13:04:34 · 1061 阅读 · 0 评论 -
爬虫--百度翻译(自动识别中英文)
声明:以下内容,仅为爬虫初学爱好者提供思路,禁止任何商业用途先分析流程:pc端的百度翻译,post请求体携带一下内容from:zhto:enquery:今天天气不错transtype:entersimple_means_flag:3sign:728535.1048294token:57815b74809f509d4c8d2c3b6f66f622sign 目前找的比较费劲,就尝试,使用手机端。手机端...原创 2018-03-04 12:12:24 · 6387 阅读 · 4 评论 -
scrapy crawlspider 腾讯招聘
scrapy的一个小分支,主要是利用正则,匹配url,第一个rule实现自动翻页,第二个rule实现提取内容,愿大家每天进步一点点,会发现生活如此美好~能看到这篇文章,相信,老铁已经在爬虫的路上,走过一段时间了,给部分想踏入爬虫这个行业的人,推荐一本书:《Python爬虫开发与项目实战》不用买,网上就有,里面都是基础,在面试中磨练基础,在项目中磨练经验import scrapy from scra...原创 2018-03-18 12:00:15 · 144 阅读 · 0 评论 -
python 获取文件夹下所有的文件名 自动创建文件夹 判断文件是否存在
import os # 获取文件下的所有txt文件的路径 def file_name(self, user_dir): file_list = list() for root, dirs, files in os.walk(user_dir): for file in files: ...原创 2018-09-07 17:42:42 · 4853 阅读 · 0 评论