- 博客(11)
- 收藏
- 关注
RSS订阅原创 【NVIDIA-SMI】服务器重启，内核升级，nvidia-smi 不可用？
服务器重启后，内核升级，导致nvidia-smi 不可用，版本不对应。重新 使用 dkms 安装 nvidia ，解决问题。不需要重启服务器。
2023-12-20 18:34:23
1535
原创 python3 scrapy + adbapi 修改和添加数据到MySQL
参考文章pipelines.py1、编辑pipelines.pyimport pymysqlfrom twisted.enterprise import adbapiclass MysqlPipeline(object): def __init__(self, dbpool): self.dbpool = dbpool self.dbname = MYSQL_DB @classmethod def from_settings(.
2020-07-16 17:23:30
622
原创 由字符串生成字典headers
在爬虫中，会添加headers, 但是每次写文件都需要一个一个复制请求头中的参数，很是费时间，所以写个脚本，只需要复制一次就可以了。调用函数可以自动生成headers字典，减少不少时间，其中ua参数为想要替换的User-Agent, 默认为None, 即不需要替换。同理，也可以快速生成请求参数。import pprintdef handle_headers(headers...
2019-06-17 18:20:56
590
原创 python 多线程采集amac
本文用到的知识点通过requests发送POST请求，参数以request payload方式进行传输 时间戳转为格式化日期 通过openpyxl 将数据保存为excel 使用multiprocessing.dummy.Pool 多线程采集目标地址import requestsimport jsonimport threadingfrom multiprocessi...
2019-06-10 16:17:49
579
原创 python学习之 针对@font-face反爬
本文学习以实习僧网站为例参考文章：1、js分析 猫_眼_电_影 字体文件 @font-face2、猫眼破解数字反爬获取实时票房3、解析某电影和某招聘网站的web-font自定义字体先来观察网站的构造：由图中可以看出部分字体隐藏，源码无法直接获取。这就是@font-face搞的鬼。Ctrl + F 搜索 @font-face。定位到下图所示：将图...
2018-09-11 10:32:54
2887
4
原创 python学习之 scrapy+selenium爬取淘宝商品信息
学习目的 使用scrapy框架获取动态网站信息，以淘宝为例， 获取商品的[描述,价格,商店，图片链接]将获取的信息保存到execl表，或者json文件，数据库中。打开淘宝首页搜索一加手机，获取第一页url为https://s.taobao.com/search?q=%E4%B8%80%E5%8A%A0%E6%89%8B%E6%9C%BA&imgfile=&js=1&...
2018-08-31 19:18:47
2062
原创 python笔记之 scrapy安装
Windows + Python3 安装scrapy 第一种，如果使用的是Anaconda,,可以直接使用conda install scrapy 第二种先下载好所需要对应版本的包 1、安装pywin32 从官方网站下载安装即可pywin32传送门 2、安装pyOpenSSL 从官网下载安装即可pyOpenSSL传送门,安装.whl需要进入存放该文件夹下：比如我的放在桌面...
2018-08-02 16:58:40
147
原创 python笔记之 selenium爬取美食杰信息
学习目的：练习selenium的用法，获取美食杰--->菜谱大全--->早餐 页面中的菜名以及作者名，保存到TXT文件中 1、首先引入所需要的包from selenium.webdriver.common.action_chains import ActionChains #模拟鼠标from selenium import webdriverimport time...
2018-08-01 21:18:01
1219
原创 python笔记 之selenium基础用法
在上篇笔记中已经写下如何安装selenium以及配置浏览器驱动，传送门<selenium 安装>,下面会介绍selenium的基础用法。以百度链接为例，由于selenium加载受到网速的影响，所以网速差运行可能会较慢或者出错from selenium import webdriverdriver = webdriver.Firefox()driver.get('http:...
2018-07-31 21:33:08
272
原创 python笔记 之selenium安装及注意事项
selenium 是一个自动化测试工具，selenium的特点：1.由程序控制浏览器进行操作，而不是手动操作浏览器2.程序控制浏览器进行操作的时候，速度非常慢，所以要谨慎使用selenium3.使用selenium控制浏览器的时候，需要下载浏览器对应的驱动程序4.selenium为开源，免费，但是更新速度没有浏览器快，不是selenium 更新慢，而是浏览器更新快，要注意sel...
2018-07-30 21:34:06
241
原创 python学习笔记 之爬取图片
目的：根据输入的导航条名 获取对应的图片并分类保存到本地首先导入所需要的模块，如果提示报错，显示未安装 就到cmd中使用pip 安装就可以了import requests,os,shutilimport reimport timefrom fake_useragent import UserAgent #随机一个User-Agentfrom bs4 import Bea...
2018-07-30 10:56:18
542
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人