![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
yiyiyaya哈哈哈
这个作者很懒,什么都没留下…
展开
-
2021-08-18
python报错ScrapyDeprecationWarning: scrapy.loader.processors.MapCompose is deprecated, instantiate itemloaders.processors.MapCompose instead.解决方法:在报错的文件下加入以下打码,就可以忽略import warningswarnings.filterwarnings("ignore")该方法源码def filterwarnings(action, messag原创 2021-08-18 15:25:52 · 384 阅读 · 0 评论 -
selenium模拟滑动浏览器有无界面
from selenium import webdriver‘’‘无界面浏览器’’’chrome_options = webdriver.ChromeOptions()chrome_options.add_argument(’–headless’)browser = webdriver.Chrome(r“chromedriver.exe保存路径",chrome_options=chrome...原创 2018-11-15 14:35:44 · 378 阅读 · 0 评论 -
python虚拟环境迁移
生成虚拟环境:pip freeze > requirement.txt安装虚拟环境:pip install -r requirement.txt原创 2019-02-26 11:30:59 · 332 阅读 · 0 评论 -
python基础 ---1
#调用python脚本python script.py (script.py python脚本的文件名)#python文件中如果未指定编码,执行的时候可能会报错#以双下划线开头的__foo代表类的私有成员,以双下划线开头和结尾的__foo__代表python里特殊方法专用的标识#python最具有特色的就是用缩进来写模块#三引号 “”"""" 可以表示由多行组成,编写多行文本的快捷语...原创 2019-03-19 18:07:10 · 108 阅读 · 0 评论 -
安装scrapy
**python环境** --判断是否安装scrapy --- import scrapy(如果不能导入成功,说明还未安装)#正式安装scrapy框架(同时也需要安装一些scrapy所依赖的第三方库)# 1:pip install wheel 2:lxml 3: PyOpenssl 4: Pywin32 5:pip install scrapy**...原创 2019-03-27 16:19:23 · 122 阅读 · 0 评论 -
python统计list中个元素出现次数
利用字典统计利用pandas统计利用Counter类统计1:方法一data = [1,2,3,4,2,3,4,2,3,4,5,6,6,4,4,5,6,7,4]data_dict = {}for key in data: data_dict[key] = data_dict.get(key,0) + 1print("data_dict:",data_dict)输出结果:d...原创 2019-04-12 10:47:56 · 11499 阅读 · 0 评论 -
crontab定时启动scrapy爬虫
部署到测试环境,并设置定时启动任务通过FileZille工具,将本地的文件上传到测试服务器上面的python文件夹中在与spider同级目录下写一个shell脚本,启动所编辑的运行爬虫文件vi run.sh 1 #! /bin/sh 2 export PATH=$PATH:/usr/local/bin 3 cd /data/project/python/...../run...原创 2019-05-22 14:00:58 · 538 阅读 · 1 评论