ak47810925-CSDN博客

转载 Windows下python的安装包的网址

网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/转载于:https://www.cnblogs.com/lin1318/p/9114975.html

2018-05-31 09:45:00 160

转载用paython爬取知乎，伯乐在线，拉勾网完整版

在main.pyfrom scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath(__file__)))# execute(["scrapy", "crawl", "jobbole"])# execute(["scra...

2018-04-16 11:34:00 263

转载用python拉勾网的完整版

这是在爬取伯乐在线的基础之上的，所以就没重复代码。在lagou.pyimport scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom ArticleSpider.utils.common import get_md...

2018-04-16 11:19:00 260

转载 python 爬取知乎完整版

由于在爬取知乎是在伯乐在线之后的，需要参考前面的代码，有相同的部分就没有再加入。在zhihu.py 中import scrapyimport refrom urllib import parsefrom selenium import webdriverfrom scrapy.http import Requestfrom scrapy.loader im...

2018-04-16 11:08:00 572

转载 JDK 环境变量配置

(1)新建->变量名"JAVA_HOME"，变量值"D:\Program Files\Java\jdk1.8.0_161"（即JDK的安装路径）(2)编辑->变量名"Path"，在原变量值的最后面加上“;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin”(3)新建->变量名“CLASSPATH”,变量值“.;%JAVA_HOME%\lib;%J...

2018-04-16 10:52:00 99

转载 python 爬取伯乐在线完整版

在jobbole.pyimport scrapyimport reimport datetimefrom urllib import parsefrom scrapy.http import Requestfrom ArticleSpider.items import JobBoleArticleItemfrom ArticleSpider.utils.c...

2018-03-29 11:20:00 138

转载模拟登录知乎selenium在python中

from selenium import webdriverfrom scrapy.selector import Selectorbrowser = webdriver.Chrome(executable_path="D:/Temp/chromedriver.exe")# browser.get("https://www.zhihu.com/signup?next=...

2018-03-17 16:22:00 72

转载 python用css方法爬取伯乐在线

1.css的用法2.css的用法 #通过css选择器提取字段 # front_image_url = response.meta.get("front_image_url", "") #文章封面图 # title = response.css(".entry-header h1::text").extract()[0] ...

2018-03-16 16:44:00 416

转载 python用xpath方法爬取伯乐在线

1.xpath的用法2.提取信息（1）在命令行中可以测试response.xpath("//p[@class='entry-meta-hide-on-mobile']/text()").extract()[0].strip().replace("·","")（2）在pycharm中运行import scrapyimport rec...

2018-03-16 16:21:00 143

转载用python爬取伯乐在线的准备

1.在pycharm选择编译器2.创建项目。3。出现“No module named” 'win32api'4.配置main新建一个main，from scrapy.cmdline import executeimport sysimport ossys.path.append(os.path.dirname(os.path.abspath...

2018-03-16 14:25:00 90

转载虚拟环境管理python

1.virtualenv 的安装2.virtualenv 的新建3.进入虚拟环境4.退出虚拟环境5.安装virtualenvwrapper(虚拟环境管理包)还需要在环境变量中的系统变量：新建WORKON_HOME，变量值：D:\envs（可以任意指定一个盘）6.安装一些库request7.安装scrapy遇到错误 buildi...

2018-03-16 10:41:00 50

转载 CentOS 7 镜像和ubuntu镜像

CentOS7镜像：http://mirrors.nwsuaf.edu.cn/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.isoubuntu镜像：http://mirrors.ustc.edu.cn/ubuntu-releases/16.04.4/ubuntu-16.04.4-desktop-amd64.iso转载于:https:/...

2018-03-13 14:49:00 508

转载启动VMware Workstation出现问题W32 Authconnectionlaunch :回复错误 Process creation failed

1.出现这个问题，在控制面板中卸载程序，可以修复，最好是卸载重新安装。一般就是在安装时，有没有安装好的步骤。转载于:https://www.cnblogs.com/lin1318/p/8551916.html...

2018-03-13 10:49:00 1218

转载 vmware安装问题：Microsoft Runtime DLL安装程序未能完成安装

1.在输入%temp%2.找到{ADC3121A-3EBA-4016-AF64-00B8FE017080}~setup结尾是~setup(在打开运行时不要管了安装界面，看一下当时的时间，很容易找到的，关闭找不到)3.打开该文件夹选择安装程序即可正常安装。转载于:https://www.cnblogs.com/lin1318/p/8549349.html...

2018-03-12 15:05:00 179

转载 scrapy item loader机制

from scrapy.loader import ItemLoader #继在jobbole中导入模块item_loader=ItemLoader(item=JobBoleArticleItem(),response=response) #JobBoleArticleItem需要与items.py中的类名一致item_loader.add_css("title",".en...

2018-01-25 21:01:00 80

ak47810925的博客