爬虫 教训

原创 2018年04月15日 20:52:31

1.对于一些爬取后数据为空,但在网页上f12 上有的 ,可以查看网页源代码 ,发现使用js写的

则只能用模拟浏览器selenium

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('......略')
include_title = []
driver.implicitly_wait(20)
author = driver.find_element_by_xpath('//*[@id="main"]/div/div/div[1]/div[1]/div[1]/div[1]/div[1]/h4/a[1]').text
date = driver.find_element_by_xpath('//*[@id="main"]/div/div/div[1]/div[1]/div[1]/div[1]/div[1]/h4/a[2]').text
driver.find_element_by_xpath('//*[@id="main"]/div/div/div[1]/div[2]/div[1]/button[2]').click()
print(author, date)

2.使用scrapy 如果不模拟浏览器,则只能爬取静态网页

3.对于有内容的网页但response url 打开后为404 则表明不希望你访问,暂时没有办法爬取

4.对于scrapy 在setting 里可以设置头

DEFAULT_REQUEST_HEADERS={
            "Accept": "*/*",
            "Accept-Encodingv": "gzip, deflate, br",
            "Accept-Language": "zh-CN,zh;q=0.9",
            "Connectionvkeep-alive":"keep-alive",
            "Host": "bbs.tju.edu.cn",
            "Referer":"https://bbs.tju.edu.cn/",
            "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36"
}

5. 普通的导入mongodb

import pymongo
client = pymongo.MongoClient('localhost',27017)
mydb = client['mydb']
taobao = mydb['taobao']
#抓取略
commodity = {
            'goods': goods,#抓取之后
            'price': price,
            'sell': sells,
            'shop': shop,
            'address': address
        }
        taobao.insert_one(commodity)

6.scrapy 导入mongodb

#在pipelines
import pymongo
class JianshuPipeline(object):
    def __init__(self):
        client = pymongo.MongoClient('localhost', 27017)
        test = client['test']
        jianshu = test['jianshu']
        self.post = jianshu
    def process_item(self, item, spider):
        info = dict(item)
        self.post.insert(info)
        return item

爬虫开发基础

-
  • 1970年01月01日 08:00

《软件测试经验与教训》--读书笔记

《软件测试经验与教训》--读书笔记
  • ggf123456789
  • ggf123456789
  • 2015-01-15 01:30:42
  • 1691

软件开发时的经验和教训--软件工程思想

  • 2009年08月06日 13:02
  • 2.13MB
  • 下载

软件开发过程---项目开发经验与教训

漫谈企业应用项目的软件开发过程 一个PRM系统实施的经验与教训 ...
  • antyi
  • antyi
  • 2007-11-01 21:09:00
  • 4299

第一份工作中自己的经验与教训

分享一下第一份工作中自己干的难忘的事情,主要是教训,哈哈 刚毕业学习用Erdas纠正数据,拿着TM影像做底图去纠正资源卫星数据,第一次见到如此多的整轨的影像,每天见到花花绿绿的影像,看得自己十分...
  • htoneteam
  • htoneteam
  • 2014-06-12 00:06:15
  • 464

项目经验教训总结

1、必须了解自己模块的业务需求,以及同其他模块的衔接 2、熟悉模块的功能 3、熟悉项目的框架,特别是框架的配置文件 4、写完模块的一个方法,要紧接着做单元测试,防止代码出...
  • u013310119
  • u013310119
  • 2016-06-12 19:26:48
  • 499

秦朝灭亡的教训

秦巩固统一措施基本特点: (1)重硬件,轻软件; (2)重形式,轻实质; (3)重当下,轻长远;(对接班人的培养) (4)重才干,轻驾驭;(李斯,赵高法律强)...
  • u010746364
  • u010746364
  • 2016-08-13 11:19:08
  • 271

实际软件项目实施经验与教训

  • 2011年03月19日 12:31
  • 46KB
  • 下载

面试的一点心得,失败的教训

最近参加了阿里的电面,被秒杀,反思总结了一下,不外乎如下几点原因: 平时自己做的项目其实不算少,码的代码量很大,但是缺乏总结。并且,对于平时遇到的问题,不求甚解,只是按照度娘的提示解决了问题,没有...
  • isksk
  • isksk
  • 2014-03-19 09:50:06
  • 654

老程序员总结的16条经验教训

01 从小事做起,然后再扩展 无论是创建一个新的系统,还是添加功能到现有的系统中,我总是从一个简单到几乎没有任何所需功能的版本启动,然后再一步一步地解决问题,直到满意为止。我从来没有妄想...
  • hbyh632
  • hbyh632
  • 2017-11-06 15:27:01
  • 208
收藏助手
不良信息举报
您举报文章:爬虫 教训
举报原因:
原因补充:

(最多只允许输入30个字)