- 博客(14)
- 收藏
- 关注
RSS订阅原创 2021-08-18
python报错ScrapyDeprecationWarning: scrapy.loader.processors.MapCompose is deprecated, instantiate itemloaders.processors.MapCompose instead.解决方法：在报错的文件下加入以下打码，就可以忽略import warningswarnings.filterwarnings("ignore")该方法源码def filterwarnings(action, messag
2021-08-18 15:25:52
362
原创 安卓手机App反编译
安卓手机App反编译jadx下载：https://github.com/skylot/jadx里面有详细的操作步骤在使用的过程发现导出文件一直卡死，直接用命令行导出，报错。。。。尝试解决，还是不行，修改参数失败，所有换工作dex2jar + jd-guidex2jar下载：https://sourceforge.net/projects/dex2jar/解压安装即可jd-gui...
2019-07-12 17:57:20
1365
原创 crontab定时启动scrapy爬虫
部署到测试环境，并设置定时启动任务通过FileZille工具，将本地的文件上传到测试服务器上面的python文件夹中在与spider同级目录下写一个shell脚本，启动所编辑的运行爬虫文件vi run.sh 1 #! /bin/sh 2 export PATH=$PATH:/usr/local/bin 3 cd /data/project/python/...../run...
2019-05-22 14:00:58
537
1
原创 python统计list中个元素出现次数
利用字典统计利用pandas统计利用Counter类统计1：方法一data = [1,2,3,4,2,3,4,2,3,4,5,6,6,4,4,5,6,7,4]data_dict = {}for key in data: data_dict[key] = data_dict.get(key,0) + 1print("data_dict:",data_dict)输出结果：d...
2019-04-12 10:47:56
11492
原创 Jupyter Notebook设置代码自动补全
Jupyter Notebook设置代码自动补全1：已经下载安装Jupyter2：在命令行中输入python -m pip install jupyter_contrib_nbextensions3：jupyter contrib nbextension install --user4:重启jupyterjupyter notebook此时Nbextensions宽展键已经...
2019-04-12 09:42:19
2582
原创 安装scrapy
**python环境** --判断是否安装scrapy --- import scrapy(如果不能导入成功，说明还未安装)#正式安装scrapy框架（同时也需要安装一些scrapy所依赖的第三方库）# 1：pip install wheel 2：lxml 3: PyOpenssl 4: Pywin32 5:pip install scrapy**...
2019-03-27 16:19:23
118
原创 python基础 ---1
#调用python脚本python script.py (script.py python脚本的文件名)#python文件中如果未指定编码，执行的时候可能会报错#以双下划线开头的__foo代表类的私有成员，以双下划线开头和结尾的__foo__代表python里特殊方法专用的标识#python最具有特色的就是用缩进来写模块#三引号 “”"""" 可以表示由多行组成，编写多行文本的快捷语...
2019-03-19 18:07:10
107
原创 抓取的网站需要登录，才能采集网站信息
scrapy采集需要登录的网站信息直接登录网站，鼠标右键–检查，或者直接键盘F12,找到cookie值，此时的cookie是已经登录之后的cookie，将其转化为字典的格式下面这段代码可以将网页中的cookie值直接转化成字典格式：class DictCookie: def __init__(self, cookie): self.cookie = cookie ...
2019-03-01 16:34:33
1850
原创 python虚拟环境迁移
生成虚拟环境：pip freeze > requirement.txt安装虚拟环境:pip install -r requirement.txt
2019-02-26 11:30:59
328
原创 selenium模拟登陆
以模拟登陆csdn账号为例：import timefrom selenium import webdriver（创建谷歌浏览器对象）driver = webdriver.Chrome(r"下载的webdriver本地地址")driver.get(‘https://passport.csdn.net/account/login’)driver.find_element_by_xpath(...
2019-02-20 16:34:06
455
原创 windows系统下利用scrapyd部署爬虫（scrapy）项目
1：首先python环境已经配置好2：然后准备一个可以支持scrapy项目运行的虚拟环境，我再本地安装了python3 和Anacondaa：mkvirtualenv --D:\python\Anaconda\anaconda–tool\python.exe env(虚拟环境名称)b：然后进入虚拟环境下载安装scrapyd，和scrapyd-client两个包3：进行部署a：在虚拟环...
2018-12-29 14:52:02
475
原创 selenium模拟滑动浏览器有无界面
from selenium import webdriver‘’‘无界面浏览器’’’chrome_options = webdriver.ChromeOptions()chrome_options.add_argument(’–headless’)browser = webdriver.Chrome(r“chromedriver.exe保存路径",chrome_options=chrome...
2018-11-15 14:35:44
378
原创 django项目开发基本步骤
Django开发项目的过程[ ] –下载安装第三方库 pip install django==相应的版本 –创建项目 admin-django startproject projcet (project是你创建的项目名称，可以自己设置) –创建好之后输入tree命令会显示django自动生成的相关目录 —–project...
2018-07-05 17:51:11
253
原创 Git 使用
git分布式版本控制系统linux系统中git常见命令：开始一个工作区（参见：git help tutorial） clone 克隆一个仓库到一个新目录 init 创建一个空的 Git 仓库或重新初始化一个已存在的仓库在当前变更上工作（参见：git help everyday） add 添加文件内容至索引 mv 移动或重命名一个文...
2018-05-22 17:46:45
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人