爬虫
阿肆si
这个作者很懒,什么都没留下…
展开
-
python中使用schedule模块定时执行任务
python中有一个轻量级的定时任务调度的库:schedule。他可以完成每分钟,每小时,每天,周几,特定日期的定时任务。因此十分方便我们执行一些轻量级的定时任务.代码如下:import scheduleimport timedef job(name): print("her name is : ", name)name = "longsongpong"schedule.every(10).minutes.do(job, name)schedule.every().hour.do(原创 2021-04-15 14:43:20 · 5755 阅读 · 3 评论 -
python将base64编码/解码和python操作MD5
# -*- coding:utf-8 -*-#将base64编码/解码包import base64#导入url解码包from urllib import parse#普通中文s = "你好"#带竖线的中文str1 = '中国|陕西省|西安市|雁塔区|小寨东路|178号'#base64编码后的样例example = '5Lit5Zu9fOmZleilv+ecgXzopb/lronluIJ86ZuB5aGU5Yy6fOWwj+WvqOS4nOi3r3wxNzjlj7c='#先base64编原创 2021-12-09 11:22:00 · 926 阅读 · 0 评论 -
Selenium启动项参数设置
Chrome Webdriver Options简介这是一个Chrome的参数对象,再此对象中使用add_argument()方法可以添加启动参数,添加完毕后可以在初始化Wedriver对象时将此Options对象传入比如说以下例子from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# 实例化一个启动参数对象chrome_options = Options()# 设置浏览器窗原创 2021-11-06 14:25:55 · 4126 阅读 · 0 评论 -
Python获取当前日期、日期差计算、判断时间是否在某个时间范围内
在Python中获取日期和时间很简单,主要使用time和datetime包1、获取当前时间并格式化from dateutil import rrulefrom datetime import datetimeimport time#获取日期,格式化yyyy-mm-dd hh:mm:ss#第一种方式strtime = time.strftime('%Y-%m-%d %H:%M:%S',time.localtime())print(strtime)print(type(strtime))原创 2021-11-03 16:17:09 · 23816 阅读 · 0 评论 -
python爬虫爬取微信公众号历史文章链接
最近公司有了要爬取微信公众号文章链接的需求,之前最初接触爬公众号文章的时候,用的是搜狗微信,在这个上面可以搜到相关的微信公众号文章,但是这些链接是有时效性的,第二天链接就打不开了(不知道现在是多久),当然如果是要抓文章内容的,可以用这种方法,但是如果要抓文章的URL,那就不行了,只能另寻别的方法。 期间我试了网上的各种方法,比如微信公众号发布平台,这个的cookie也是有时效性,具体是多久网上说多久的都有,当然这确实是一种方法,同时我自己也在寻找别的方法。我的方法是使用fiddler抓包抓到pc端微.原创 2021-11-02 14:28:59 · 16267 阅读 · 0 评论 -
使用pyinstaller打包多个和单个python文件
一、打包多个1、将需要打包的项目为anjuke_sd目录下的所有python文件,其中excute_main.py为主文件。2、生成主函数对应的spec文件命令:在anjuke_sd路径下使用:pyi-makespec excute_main.py如下图已经生成excute_main.spec文件。3、修改spec文件:加入需要打包的所有python文件,同时确保以下两项包含该项目的路径4、对spec文件进行pyinstaller安装命令:pyinstaller excute_main原创 2021-10-03 20:22:04 · 24626 阅读 · 7 评论 -
‘gbk‘ codec can‘t encode character ‘\U0001f64f‘ in position 10085:错误解决
import io import syssys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #改变标准输出的默认编码 直接将以上代码放在你的代码中,简单粗暴!原创 2021-08-24 15:39:13 · 3719 阅读 · 0 评论