python爬虫
疯狂的编程者
从事Android开发2年,2年的IT讲师。
展开
-
Python爬虫百度搜索标题
from urllib import request,parse import urllib import http.cookiejar from bs4 import BeautifulSoup word=input("请输入搜索的关键词:"); url="http://www.baidu.com/s?wd="+urllib.parse.quote(word); headers={"Acce...原创 2018-05-14 15:40:43 · 4962 阅读 · 4 评论 -
Win10环境、Pycharm、Python3.6下安装Scrapy
一、首先安装命令安装: pip install D:\java\Twisted-18.4.0-cp36-cp36m-win_amd64.whl下载地址https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载根据自己的系统取下amd32是32位系统的amd64是64位系统,根据自己的Python版本去下载3.6的下载cp36的安装成功后再在Pych...原创 2018-05-15 15:06:45 · 453 阅读 · 0 评论 -
Python命令行安装Scrapy框架
写这篇文章主要是因为Pycharm工具安装Scrapy框架每次创建项目都要安装。所以使用命令行安装以后直接去创建及可以了。希望对大家有所帮助一、进入python的命令行:在安装python的时候配置环境变量在系统环境变量下:path中配置以下的环境:进入cmd命令窗口下输入命令:进入python的命令下:我们使用的是pip安装首先查看下pip有没有安装:出现了pip的版本号证明安装好了。我给pip...原创 2018-05-15 16:40:55 · 487 阅读 · 0 评论 -
Scrapy框架创建项目
目前没有工具能够创建Scrapy项目,我们的Pycharm也不行原创 2018-05-15 17:04:08 · 423 阅读 · 0 评论