果冻先生的专栏

robots.txt文件用法举例：首先来看看robots.txt文件的使用位置情况，如github的robots使用情况。下面参考https://blog.csdn.net/cc1254383393/article/details/48753961/1.robots.txt文件是什么robots.txt是一个纯文本文件，是搜索引擎中访问网站的时候要查看的第一个文件。robots...

博主纯手工打字，转载请注明出处！各位大佬不喜勿喷！先笼统说一下本文针对ftp协议下的文件夹和文件递归下载方法：（I）使用FileZilla工具进行下载；（II）使用脚本爬取；（III）使用命令直接下载；（IV）python脚本直接下载。 最近需要下载一批新的固件，本来是准备写脚本爬取的，但是使用scrapy框架爬取的时候，发现并不能有效地支持ftp协议的情况，貌...

(1)免费ip使用地址:www.xicidaili.com(2)编写脚本测试ip是否有效推荐大家看一下这个博客:https://blog.csdn.net/Oscer2016/article/details/75000148这这篇博客很好地展示了免费ip的获取和测试是否能用的情况.下面是我在别的博客上看到的,拿过来使用,发现很难用,有的时候还无法测试出结果.方法一:使用requ...

scrapy框架使用时发生的错误:解决办法:将报错的403加入到settings.py文件中.HTTPERROR_ALLOWED_CODES = [403] 

python调用无头浏览器的时候出现错误WebDriverException: Message: 'phantomjs' executable may have wrong permissions.错误如下:最直接的做法是进入到phantomjs目录下,找到可执行文件phantomjs,然后使phantomjs修改权限为可执行文件.修改方法如下:$ chmod 777 phanto...

 从windows上传文件到服务器:(1)在windows下上传文件到服务器方法是配置rz和sz功能.sudo pip install lrzsz然后直接文件上传就行rz 为文件上传到服务器sz为文件保存到本地命令(2)从linux上传文件到服务器:下面以ubuntu系统为例:scp -P 2200 netgearSpider.py root@10.10.2.191...

python正则匹配,以某某开头某某结尾的最长子串匹配如firmwarename: SMARTCPU_V02.03.02_00.00.01.00_Firmware_update_files.zip   匹配出:V02.03.02_00.00.01.00firmwarename: SMARTCPU_V02.02.00_00.00.01.00.zip    匹配出:V02.02.00_00.0...

在网上看到下面这个问题:某个url的重要参数都在“#”后面，网络请求的时候“#”后面的参数会被忽略，这种情况该怎么处理？在scrapy爬虫框架中会自动过滤掉#后面的内容,这时我们我需要将#进行字符转化,将#转化为%23进行处理.问题如下:当不改变#为 %23时,输出结果入下截图class netcoreSpider(Spider): name = "netcore" ...

通常有两种方法，一种是使用meta进行参数传递。另一种是使用lambda进行参数传递。方法一：使用meta进行参数传递。举例如下：from scrapy.spiders import Spiderimport scrapyimport FirmCrawler.items as MIfrom sets import Setimport timeimport urlpars...

python scrapy框架的爬虫遇到下面的错误，一直没查找到解决的办法，请求大佬指教。在爬取http://firmware.koolshare.cn/网站的时候遇到异常。2018-10-15 22:07:57 [scrapy.core.downloader.handlers.http11] WARNING: Received more bytes than download warn...

通常针对某一行的内容时,使用text().如:  filename = d.xpath("./div[2]/div/div/a[1]/text()").extract().pop()针对标签下的存在多个子标签下的多行时,我们采用string(.)进行获取.如: desc_info = d.xpath("./div[2]/div/div") desc_ = desc_info.x...

参考下面的链接中的内容：https://blog.csdn.net/suibianshen2012/article/details/61915222# -*- coding:utf-8 -*-#python 2.7#http://tieba.baidu.com/p/2460150866#标签操作from bs4 import BeautifulSoupimport urll...

###根据url链接提取下载文件的大小特征和下载文件类型def getRemoteFileSize(url, proxy=None): ''' 通过content-length头获取远程文件大小 ''' opener = urllib2.build_opener() if proxy: if url.lower().startswith(...

处理url含中文的方法url = urllib.quote(url, safe=string.printable) ###处理含中文的情况 req = urllib2.urlopen(url, timeout = 60)这种是最好用的方法，能够处理整个url。参考链接：https://blog.csdn.net/sijiaqi11/article/details/784497...

废话不多说，上代码import urllib2import urlliburl = "http://www.wayos.com/../Upfiles/down/WAP_3048-18.07.04V.trx"req = urllib2.urlopen(url, timeout=60)try: urllib.urlretrieve(url, filePath)except Ex...

这是一个有问题的代码，摆弄了很久，找不到解决的办法，希望看到我错误的大神给于留言指点。也可以发邮件给我，邮箱aixuexiba666@126.com，大家有高明的解决方案，欢迎大佬指教。谢谢！我的问题主要出在点击“写信”按钮无反应。无法准确找到获取该按钮，并有反应的方法。发现下面这位博主和我的问题基本一样。没有很好的解决方法。https://www.cnblogs.com/yin-tao/p/72...

xpath是一门语言，可以在xml文档中查找信息，在爬虫中比正则表达式方便很多；xpath是属于lxml库，安装xpath首先需要安装python第三方库lxml库文件；from lxml import etreeSelector = etree.HTML(网页源代码)Selector.xpath

这篇内容主要针对爬虫针对遇到发送请求页面url = “https://www.crowdfunder.com/?q=filter&page=2"data={                'entities_only': 'true',              'page': '1'   #也可以改成2,3,4,5......            }ht

from multiprocessing.dummy import Pool as ThreadPoolimport requestsurls=[]for i in range(1,20+1):    newpage="http://www.xxxxxx.xxx.page="+str(i)def getsource(url):     html= rea

#-*-coding:utf8-*-import requestsfrom lxml import etreecook = {"Cookie": "此处请填写你获取到的Cookie"} ####使用fiddler进行抓包，或者查看元素中的网络均可找到cookieurl = 'http://weibo.cn/u/xxxxxxxx' #此处请修改为微博网址（登陆后的网址）

#-*-coding:utf8-*-import requestsfrom lxml import etreeurl = 'http://weibo.cn/u/xxxxxx' #此处请修改为微博地址url_login = 'https://login.weibo.cn/login/'html = requests.get(url).contentselector = etree.

#-*-coding:utf8-*-import smtplibfrom email.mime.text import MIMETextimport requestsfrom lxml import etreeimport osimport timeimport sysreload(sys)sys.setdefaultencoding('utf-8')class mai

python运用MongoDB很方便安装：~$ sudo apt-get install mongodb~$ mongo –version卸载：~$ sudo apt-get --purge remove mongodb mongodb-clients mongodb-server安装pymongo：pip install pymongo可以安装Mong

redis把数据保存在内存MongoDB把数据保存在硬盘pip install scrapy-rediseasy_install scrapy-redis或者下载安装包下载。scrapy 配置redis，在settings.py文件中配置redis默认端口6379#-*-coding:utf8-*-from scrapy_redis.spider

def parse_page1(self, response): return scrapy.Request(url, callback=self.parse_page2)def parse_page2(self, response): self.logger.info(response.url) meta使用方法一定要学会：request.meta['it

import scrapy from scrapy import spiderlogger = logging.getLogger('mylogger')   ###命名自己的日志文件名class ZgdSpider(spider):     name = 'zgd'     start_urls = ['http://www/.XXXXX.com']     de

# -*- coding: utf-8 -*-import jsonimport scrapyfrom scrapy import FormRequestfrom bioon import settings ###############工程名为bioon，修改了settings.pyfrom bioon.items import BioonItem

使用第三方库selenium模拟执行js脚本form selenium import webdriverdriver = webdriver.Firefox()driver.get("http://www.baidu.com") drive.page_source

方法1：首先可以在类似西刺网站获取ip并存储在数据库然后在spider的middlewares.py中添加代理ip# importing base64 library because we'll need it ONLY in case #if the proxy we are going to use requires authentication#-*- coding:ut

scrapyd是一个部署scrapy spiders的应用，它可以使用ison API部署工程，并控制spider。scrapyd可以部署多个工程，每个工程都可以有多个版本，但只运行最新的那个版本。1.scrapyd安装首先配置scrapy：1.0.3，Twisted：15.4.0，python：2.7.9 ,pippip install scrapyd安装完成之后，检

pyspider爬虫设置延时,在scrawl中添加function函数,设置时延.另外可以正则匹配网址方法也可以参见本条方案 def index_page(self, response): print(response) for each in response.doc('a[href^="http://www.zhanqi.tv/games/"]

#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2017-08-11 10:19:23#Created by zhangguodong# Project: CVE_Detailsfrom pyspider.libs.base_handler import *import refrom collec

本文学会使用多进程爬取的map方法，json提取页面内容方法，xpath解析页面的方法：http://tieba.baidu.com/p/3522395718?pn=1页面代码：<div class="l_post j_l_post l_post_bright  " data-field="{"author":{"user_id":5