蛮三刀酱

前言本文快速回顾了常考的知识点，用作面试复习，事半功倍。Selenium主要参考Selenium使用总结（Java版本）：https://juejin.im/post/5c13880ef265da610f639c3cSelenium准备chromedriver各版本镜像：https://npm.taobao.org/mirrors/chromedriver/chromedriv...

前言我的京东价格监控网站需要不间断爬取京东商品页面，爬虫模块我采用了Scrapy+selenium+Headless Chrome的方式进行商品信息的采集。由于最近爬虫用的服务器到期，需要换到新服务器重新部署，所以干脆把整个模块封装入Docker，以便后续能够方便快速的进行爬虫的部署。同时，由于我的Scrapy整合了redis，能够支持分布式爬取，Docker化后也更方便进行分布式的拓展。任...

前言文章介绍并整理了一直在维护的一个小项目：京东价格监控，并详细整理了该项目前前后后几次重构的技术选型，作为一篇总结。网站介绍在京东购物时，你是否遇到如下情况：心仪的商品降价了，你却一无所知，等发现后早已断货。你设置了京东自带的降价提醒，结果在降价后很久才收到邮件提醒或者干脆没有提醒，错失抢购良机。网上各种折扣信息，各种折扣网站，却总是不能选择关注指定商品想买手机/电脑/耳机等类别...

学习python中，写个爬虫小程序，基于2.7版本代码源码贴在我的Github：https://github.com/qqxx6661/python/blob/master/gamerskyPic1.0.py# -*- coding: utf-8 -*-from __future__ import unicode_literalsimport urllibimport urllib2

使用正则表达式，用法如下：## 总结## ^ 匹配字符串的开始。## $ 匹配字符串的结尾。## \b 匹配一个单词的边界。## \d 匹配任意数字。## \D 匹配任意非数字字符。## x? 匹配一个可选的 x 字符 (换言之，它匹配 1 次或者 0 次 x 字符)。## x* 匹配0次或者多次 x 字符。## x+ 匹配1次或者多次 x 字符。## x{n,m} 匹配 x

继续练手，做了个帖子爬虫，我默认设置为只保存楼主的图片。这样有很多好的图片或者漫画中间就不会被插楼的图片干扰了。代码在：https://github.com/qqxx6661/python/blob/master/baiduPic1.0.py下面贴代码，欢迎转载，请帖本页地址：# -*- coding: utf-8 -*-from __future__ import unicode_

比如要爬取：https://www.zhihu.com/collection/26347524只用自带库，没用框架。# -*- coding: utf-8 -*-from __future__ import unicode_literalsimport urllibimport urllib2import reimport socketimport osclass

该程序中用到（可以初步理解）：1.python连接数据库：Mysql-connector2.re正则表达式3.requests用法：代理，post，get，headers等4.验证码抓取5.文件保存和读取

原文地址：http://www.cnblogs.com/bbcar/p/3424790.html侵删#coding:utf-8import urllib2def url_user_agent(url): #设置使用代理 proxy = {'http':'27.24.158.155:84'} proxy_support = urllib2.ProxyHa

转载自：https://www.douban.com/note/278152737/前两者区别stackoverflow给了较明确的答案参考网址：http://stackoverflow.com/questions/5154358/django-what-is-the-difference-between-render-render-to-response-and-direc...

scrapy框架笔记（一）：创建工程，使用scrapy shell，xpath

分为以下几步：1.(sudo) apt-get update && apt-get upgrade -y && apt-get install python-pip -y 安装pip2. sudo apt-get install python-virtualenv 安装虚拟环境3. virtualenv xxxxx 创建虚拟环境，自己命名4. source xxxxxx/bin/a

第二次安装scrapy，居然又用了一天，是scrapy太恶心还是我太？？？win10 64位，python 2.7.12（32位）Let's rock（以下皆为必装，尽管官方文档里没有这么繁琐，但为防止各种报错，头脑爆炸）1.安装pywin32在windows下，必须安装pywin32，安装地址：http://sourceforge.net/projects/pywin32

本爬虫实现按分类爬取豆瓣电影信息，一次爬取一个分类，且自动切换代理池，防止ip在访问过多过频繁后无效。

关于scrapy以及使用的代理轮换中间件请参考我的爬取豆瓣文章：【scrapy】scrapy按分类爬取豆瓣电影基础信息http://blog.csdn.net/qqxx6661/article/details/56017386爬虫简介主要还是按照scrapy的设计思路来爬，上一篇文章的豆瓣爬取能够很好的反应这种思路，京东爬虫也是如此。主要思路是：获取手机分类（自营）页面——扫描该页所有商品ID——...

在京东购物时，你是否遇到如下情况：心仪的商品降价了，你却一无所知，等发现了却只有三个大字“已缺货”你设置了京东自带的降价提醒，结果京东在降价后很久才发邮件提醒你或者干脆没有提醒，结局仍然是“已缺货”网上各种折扣信息，各种折扣网站，却总是不能选择关注指定商品想买手机，想知道整个京东手机类目的实时价格变动？现在，一个基于python的实时价格监控网站上线了，你要做的仅仅是打开浏览器，...

selenium与chromedriver安装安装chrome（有版本要求，linux和windows版本要求不同，可自行查阅，尽量使用61+版本的chrome）先安装selenium库，在下载chromedriver，将chromedriver放入环境变量方便selenium调用。selenium调用chrome代码可以直接运行，只需修改代理参数，该代码实现了： 1. 无...

提示阅读本文章，您需要：了解scrapy，知道scrapy-redis可以用来干嘛，最好已经有了可以单机运行的scrapy爬虫。已经尝试了一些反反爬措施后仍然觉得爬取效率太低。已经看了无数scrapy-redis文章,却和我一样不得要领。（自己太笨）已经看了无数scrapy-redis文章，被辣鸡文章坑的生活不能自理，到现在还没配置好。（可能还是自己太笨）提示：本文为快速上手...

前言这几天，为了给我的网站（https://pricemonitor.online/ ）提供数据，我爬取了京东手机数码类产品的大部分自营商品以及部分非自营商品数据，总共11162条。——2018.3.8包括如下类别：（运营商类除外） 其中， 自营商品：4616条。 非自营商品：6546条。数据分析今天，让我们先来看看人们（我）最为关心的手机类别吧！在排除了非自营手...