- 博客(14)
- 收藏
- 关注
RSS订阅原创 scrapy报错之 ‘’Item does not support field：.......“
scrapy 运行报错 does not support field：xxxxxxx究其原因是因为不需要保存字段，所以在item中没有定义field，只是象征性的写了一个title而在spider中用却到了yield item，系统检测出yield出的变量在item中没有提前定义，所以它是拒绝的正确做法是将需要yield的变量定义在item.py中 然后就可正常运行...
2018-03-29 17:57:24
10554
6
原创 scrapy报错之：XX Spider.parse callback is not defined
好久没用过scrapy，这两天用到了，写了一个爬虫，今天一运行，竟然报错了，突然一下有点摸不着头脑因为用到了linkextractor了，网上搜了半天也没有类似的问题，报错截图spider部分代码截个图然后item、pipline、settings、middware一路检查过去，发现都没有问题，最后 有点想放弃了，出去厕了个所，回来突然眼前一亮，发现原来是爬虫继承的父类没有改，为避免下次再遇到这种...
2018-03-29 11:41:35
8506
7
原创 redhat7环境下配置Python3.6.2的详细过程
公司服务器环境是redhat，因此把自己的也换成了redhat，前前后后、断断续续搞了半个月了，终于搞定了由于redhat系统普遍都是收费版本，个人用户较少，所以网上的相关资料并不是很多，费了老大劲了；（有需要redhat系统镜像文件的请给我留言）；1、修改yum源（这样以后下载依赖包就不受redhat限制了）：1.1、删除redhat7.0系统自带的yum软件包；rpm -qa| grep yu...
2018-03-28 11:29:10
3619
6
原创 分享几个Python逻辑小题
# 传入一个数组，返回一个新的数组，这个数组是由原始数组中当前位置以外元素乘积构成的# 例如：原始数组：[1,2,3,4]# 新数组:[24,12,8,6]def func(): array = eval(input("输入一个整数数组")) n = len(array) new_array = [] index = 0 for m in array...
2018-03-21 11:46:35
3108
原创 microsoft visual c++ 14.0 is required问题解决办法
最近公司台笔记本，需要配置环境，乍得竟然有点忘了5557pip install Scrapy时出错：error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tool...
2018-03-21 11:45:20
9164
2
翻译 scrapy框架动态切换ua
scrapy爬虫防止被禁止 ，动态切换UA1）新建一个middlewares.py文件，内容如下，文件放在与items.py, settings.py所在的文件夹下。[html] view plain copy#!/usr/bin/python #-*-coding:utf-8-*- import random from scrapy.downloadermiddlewares.user...
2018-03-16 11:09:06
2780
翻译 爬虫突破封禁的6种常见方法
为何大量网站不能抓取?爬虫突破封禁的6种常见方法在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。 本文假定读者已经了解如何用代码来抓取一个远程的 URL，...
2018-03-15 19:55:16
1988
原创 Centos7安装搜狗拼音
Centos7安装搜狗拼音转自：https://www.cnblogs.com/Yiutto/p/6204085.html方法一：Fedora 19/20/21/rawhide 使用以下命令添加源： # yum install dnf-plugins-core # dnf copr enable mosquito/myrepo # yum localinstall http://download1...
2018-03-14 11:44:14
5687
转载 Centos7安装python3并与python2共存
linux-Centos7安装python3并与python2共存 1.查看是否已经安装PythonCentOS 7.2 默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。使用 python -V 命令查看一下是否安装Python然后使用命令 which python 查看一下Python可执行文件的位置可见执行文件在/usr/bin/ 目录下，切换...
2018-03-13 19:46:21
3144
原创 centos7下安装pip3
来源:http://www.th7.cn/Program/Python/201612/1024072.shtml一、添加epel源yum install epel-release二、安装Python3.4,装完再升级吧yum install python34三、安装pip3yum install python34-setuptoolseasy_install-3.4 pip之后就可以使用pip3了...
2018-03-13 19:36:13
2478
原创 centos7下安装pip
1、首先检查linux有没有安装python-pip包，直接执行 yum install python-pip2、没有python-pip包就执行命令 yum -y install epel-release(3)、执行成功之后，再次执行yum install python-pip(4)、对安装好的pip进行升级 pip install --upgrade pip至此，pip工具就安装好了。...
2018-03-13 19:03:46
1953
转载 redhat6.5修改yum源
最近公司要统一开发环境，向服务器靠拢，避免开发环境和和生产环境差异问题造成的冲突，服务器是redhat6.5，因此我们这些用Ubuntu和centos的统统要改，头都大了，查了一圈资料，也就下面的比较实用1.检查yum包 rpm -qa |grep yum 2.删除自带包 rpm -aq | grep yum | xargs rpm -e –nodeps 3.再检查一下 rpm -qa |grep...
2018-03-13 17:29:11
1773
转载 redhat修改yum源
由于redhat商业化，注册才能使用其源，这里用阿里的centos源代替1 .下载CentOS-Base.repo文件 该文件会下载到 /etc/yum.repos.d 这个目录下面wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo 2. 将$releaseserve替换为7，...
2018-03-13 17:25:50
2131
转载 redhat6.5修改yum源
最近公司要统一开发环境，向服务器靠拢，避免开发环境和和生产环境差异问题造成的冲突，服务器是redhat6.5，因此我们这些用Ubuntu和centos的统统要改，头都大了，查了一圈资料，也就下面的比较实用1.检查yum包 rpm -qa |grep yum 2.删除自带包 rpm -aq | grep yum | xargs rpm -e –nodeps 3.再检查一下 rpm -qa |grep...
2018-03-12 17:22:30
1854
爬虫基础-第四章-requests
2022-11-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人