![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python 爬虫
chang___hong
这个作者很懒,什么都没留下…
展开
-
xpath抓取代理ip
coding:utf-8import urllib import urllib2 import requests from bs4 import BeautifulSoup from lxml import etree _headers={‘Accept’:’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/转载 2017-03-14 11:35:40 · 542 阅读 · 0 评论 -
selenium抓取四六级成绩
#! /user/bin/env python#encoding=utf-8from selenium import webdriverdrive=webdriver.PhantomJS('C:\Anaconda2\Scripts\phantomjs\\bin\phantomjs.exe')url='http://www.chsi.com.cn/cet/query'drive.get(ur原创 2017-05-20 11:00:16 · 500 阅读 · 0 评论 -
csdn登陆+cookies
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I原创 2017-03-20 10:34:21 · 1041 阅读 · 0 评论 -
百度账号登陆
#! /user/bin/env python#encoding=utf-8__author__ = 'chw'import urllib2import urllibimport cookielibimport reimport chardetURL_BAIDU_INDEX = u'http://www.baidu.com/'#https://passport.baidu.com/转载 2017-05-14 18:25:55 · 1206 阅读 · 0 评论 -
多进程
本文是windows系统,使用的是跨平台的multiprocessing模块。python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。 multiprocessing支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。 Lock:用来避免访问冲突、 Semaphore:用原创 2017-04-05 20:00:18 · 1143 阅读 · 0 评论 -
带验证码的页面登录
待定原创 2017-04-05 19:57:01 · 1324 阅读 · 0 评论 -
动态页面抓取
动态网页:用的JavaScript或者Ajax.js 工具:selenium和phantomjs参考:http://www.cnblogs.com/tester-l/p/6064216.html原创 2017-04-05 19:54:06 · 260 阅读 · 0 评论 -
数据抓取总结
动态页面抓取(注意效率): http://blog.csdn.net/zcc_0015/article/details/50814431 http://blog.chinaunix.net/uid-22414998-id-3692113.html http://blog.chinaunix.net/uid-22414998-id-3695673.html 开源软件汇总: http://bl原创 2017-04-05 09:53:52 · 218 阅读 · 0 评论 -
装饰器
基础的部分能够看懂,但是感觉还是不太懂,主要是没有应用吧。 参考:http://python.jobbole.com/85393/ http://www.cnblogs.com/huxi/archive/2011/03/01/1967600.html http://www.jianshu.com/p/d68c6da1587a http://blog.csdn.net/mdl13412/art原创 2017-03-27 10:41:32 · 206 阅读 · 0 评论 -
scrapy爬虫不会被禁止
根据scrapy官方文档: http://doc.scrapy.org/en/master/topics/practices.html#avoiding-getting-banned 里面的描述,要防止scrapy被ban,主要有以下几个策略。动态设置user agent 禁用cookies 设置延迟下载 使用 Google cache 使用IP地址池( Tor project 、VPN和代转载 2017-03-26 17:05:36 · 741 阅读 · 0 评论 -
scrapy抓取登陆页面
经常在爬有些网站的时候需要登录,大多数网站需要你提供一个用户名和密码,在这种情况下,需要先向网站发送一个POST请求。可以使用Scrapy的FormRequest类,这个类和Request类很相似,只是多了一个extra参数,用这个参数可以传递表单数据。要使用这个类,先导入: 方法1:from scrapy.http import FormRequest然后把start_urls替换成start_转载 2017-03-26 21:45:44 · 421 阅读 · 0 评论 -
scrapy中pipelines
pipelines主要用于抓取的内容保存原创 2017-03-26 11:48:47 · 458 阅读 · 0 评论 -
scrapy中spider
抓取单个网页: parse(response):回调函数中response表示url中提取的内容抓取多个网页(并且链接其他网页) rules = ( ##下面是符合规则的网址,但是不抓取内容,只是提取该页的链接 #Rule(SgmlLinkExtractor(allow=('huhuuu/default.html?page=([w]+)',), )),原创 2017-03-25 17:31:34 · 332 阅读 · 0 评论 -
scrapy+mysql安装
最近重新了系统,导致原先的scrapy不能用,出现了各种问题: 问题1: Python: Windows下pip安装库出错:Microsoft Visual C++ 9.0 is required < Unable to find vcvarsall.bat http://blog.csdn.net/liwugang43210/article/details/50732920 问题2:我装了原创 2017-03-21 21:29:17 · 487 阅读 · 0 评论 -
BeautifulSoup和Selenium对比
参照http://blog.csdn.net/eastmount/article/details/53932775# BeautifulSoup:处理速度快,同时可以连续的利用find查找,主要用于静态网页#! /user/bin/env python#encoding=utf-8__author__ = 'chw'from bs4 import BeautifulSoupimport r原创 2017-03-17 20:59:52 · 3734 阅读 · 0 评论 -
xpath抓取代理IP并检测IP的有效性
#coding:utf-8import urllibimport urllib2import requestsimport timefrom bs4 import BeautifulSoupfrom lxml import etreeimport multiprocessingtest_url='http://www.baidu.com/'testStr = "wahaha"_...原创 2017-03-17 11:43:04 · 407 阅读 · 0 评论 -
xpath抓取代理IP并检测IP的有效性
#coding:utf-8import urllibimport urllib2import requestsimport timefrom bs4 import BeautifulSoupfrom lxml import etreeimport multiprocessingtest_url='http://www.baidu.com/'testStr = "wahaha"_h原创 2017-06-19 22:11:02 · 690 阅读 · 0 评论