2018年06月_徐雄辉

09月 08月 07月 06月 05月 04月

原创 java调用shell脚本里的函数

public static void main(String[] args) {try { // bash /opt/ts.sh 脚本路径 restart 脚本里的函数 String shellSql="bash /opt/ts.sh restart"; Process process = Runtime.getRuntime().exec(shellS...

2018-06-12 15:45:38 645

先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。。用...

2018-06-08 16:48:16 387

原创例子1.link_scrapy

#!/usr/bin/env python # -*- encoding: utf-8 -*- """ Topic: 爬取链接的蜘蛛 Desc : """ import logging from coolscrapy.items import CoolscrapyItem import scrapy from scrapy.spiders import CrawlSpider, Rule fro...

2018-06-08 16:36:17 155

原创 scrapy 爬取京东例子

#-*- encoding: UTF-8 -*- #---------------------------------import------------------------------------ import scrapy import re from tutorial.items import TutorialItem from scrapy import Request #------...

2018-06-08 13:46:22 603

转载 pycharm下打开、执行并调试scrapy爬虫程序

首先得有一个Scrapy项目，我在Desktop上新建一个Scrapy的项目叫test，在Desktop目录打开命令行，键入命令：scrapy startproject test1 目录结构如下：打开Pycharm，选择open 选择项目，ok 打开如下界面之后，按alt + 1，打开project 面板在test1/spiders/，文件夹下，新建一个爬虫spider.py， ...

2018-06-08 11:20:26 610

原创 scrapy -----ImportError: No module named 'win32api'

今天在搭建一个虚拟环境过程中，遇到了点问题，在此记录一二。安装完scrapy后，再去安装pywin32，之后再通过命令行调试scrapy项目时，发现任然爆出了如下错误：?12import win32apiImportError: DLL load failed: 找不到指定的模块。按以往经验只要安装了pywin32就可以了，而且我也找到了\venv\Lib\site-packages\win32\...

2018-06-03 11:56:27 196

转载 Python3.6下scrapy框架的安装

首先考虑使用最简单的方法安装[plain] view plain copy pip install scrapy 命令安装，提示 Failed building wheel for TwistedMicrosoft Visual C++ 14.0 is required...于是开始问度娘应该怎样安装，看了几篇博客，虽然和我的问题不十分相同，但是也收到了启发，知道应该怎样解决我的问题了。解决...

2018-06-03 10:51:55 236