牛犊不怕虎的博客

1、git status 查看哪些改动文件。2、git add 添加改动文件， 之后git status 可以看到改动文件已变绿3、git commit 改动的文件4、设置commit信息 第一行 全大小 项目名称、日期及版本等 空格 第二行改动内容备注5、git log 查看版本信息，在上个版本基础上打包6、在最近一个版本上打patch ：sudo git format-patch8e332c146caf90b01ec6496ad7f1e35a16b0873d...

一、python manage.py startapp appname 创建一个app二、python manage.py make migration 将模型生成迁移脚本 1.模型所在的app，必须在settings的INSTALLED_APPS下，否则报错。 2.python manage.py make migration appname 只将某个app模型...

安装virtualenvwrapper(Windows系统) windows: pip install virtualenvwrapper-win 创建虚拟环境：mkvirtualenv django_env 创建完成后自动进入到该虚拟环境中，默认路径是在C盘当前用户下的Envs内。 进入 /退出某个虚拟环境：workon django_env /deactivate 查看所有虚...

运行效果动图：简述：本案例中有一台Linux系统运行Redis服务器，两台Windows系统跑分布式爬虫。爬虫从Redis队列中得到要爬取的URL，同时redis负责队列中URL的去重以及爬虫因某些原因暂停或者终止时，下次开启爬虫自动继续上次未完成的URL继续爬取，不会重头开始爬，当爬虫爬空Redis中的URL时，就会处于等待状态，次数可以设置等待一段时间，如果队列中还是没有新增要爬取的U...

将爬虫继承的类从 scrapy.Spider 变成 scrapy_redis.spiders.RedisSpider（或者先import (from scrapy_redis.spiders import RedisSpider)）；或者是从 scrapy.CrawlSpider 变成 scrapy_redis.spiders.RedisCrawlSpider。 将爬虫中的start_url...

首先需要安装依赖包如下：sudo apt-get install python3-dev build-essential python3-piplibxml2-devlibxslt1-devzlib1g-dev libffi-dev libssl-dev 安装scrapy pip install scrapy...

导出该python程序所依赖的第三方包的列表：pip freeze > requirements.txt 将requirements.txt拷贝到需要运行该python程序的机器上，执行pip install -r requirements.txt 即可安装程序所依赖的包。...

报错：AttributeError: 'NoneType' object has no attribute 'strip'检查是否是单词拼写错误。 检查是否是str类型 检查返回结果是否有空值，使用strip()前可以先判断是否为空，如下： name = li.xpath(".//div[@class='nlcd_name']/a/text()").get()if name is n...

字符串操作设置和获取字符串 set username name / get username 设置和查看过期时间 set age 20 EX 60（expire age 60单独设置过期时间） / ttl age 一旦过期，会被自动删除。 查看所有的keys: keys *列表操作 （有序，重复）给列表添加值： 左添加: lpush websites bai...

下载地址：https://github.com/microsoftarchive/redis/releases 安装完成后，切换到安装目录: 执行redis-server.exe redis.windows.conf 启动server端。如果报错：Creating Server TCP listening socket 127.0.0.1:6379: bind: No error。则分...

先看代码执行结果：此爬虫是对之前版本爬虫（网络上大部分博客的版本）的修改和调整，具体具体流程如下：运行程序时，输入出发地，目的地和出发城市。 若是学生，则选择学生票，学生身份需要通过12306网站验证。 登录完成之后，自动跳转到查询车次页面，这样做是想先让购票者比较各个车次信息之后，输入想要购买的车次和座次。 根据查询信息，输入想要购买的车次以及座次信息。 程序会自动根据输入的...

在写12306爬虫时，遇到选择座席信息时，需要遍历select下拉框获取其中的座席信息。 代码如下： seat_types = self.driver.find_element_by_xpath('.//select[starts-with(@id,"seatType")]') seat_ptions_list = seat_types....

在Pycharm中 File——settings（Ctrl + Alt + S） 快速搜索：File and Code Templates ——Python Script，在右侧根据自己需要输入内容。 最后Apply——OK即可。结果如下图： ...

安装pyinstaller（首次使用）。打开终端（Alt+F12），输入：pip install pyinstaller。步骤如下图。 安装完成后继续中输入：“pyinstaller -F -w 文件名.py” 就可以制作出exe，生成的可执行文件位于和源文件同目录的dist文件中。 ...

先看动态结果：只能到预定锁定车票，30分钟内手动付款，车票会被自动取消。 如果是暂无余票，就会一直查询余票信息，直到有余票时，自动预定，比如G7暂无余票，为了防止反爬虫，设置的刷票间隔时间长一点，这样更安全。 使用selenium+chromedriver工具，自动查询余票，和订票，如果暂时无票，程序会一直不停的查询余票情况。 首先需要输入出发城市，到达城市，和乘车日...

整理常用的re函数和匹配规则，便于查找。re模块中常用函数：match:从字符串开始位置进行匹配； search:在字符串中查找匹配； findall:找出所有符合条件的，是一个列表； sub:用来替换字符串； split:分割字符串； compile:编译表达式； group:匹配结果分组。常用的匹配符：.匹配除换行的任意字符； \d匹配任意的数字[ 0-9 ]； ...

今天介绍借助selenium+chromdriver工具进行爬取招聘信息，并保持到csv文件中，以招聘python岗位为关键字。爬取思路可分为以下几个步骤：爬取第一页页面中所有职位的链接：每个职位有个id。 然后根据获取的每个职位的链接，获取该职位的详细信息。 右键——检查，根据html,选取元素。见代码。 第一页职位信息爬取完成后，让浏览器跳转到第二页，继续爬取每一...

之前使用requests库爬取拉勾网站招聘信息时，老是出现访问频繁或者因检测到存在爬虫行为被禁止访问。从开始学习爬虫到工作，爬取过一些网站。拉勾算是反爬虫措施做的最变态的，没有之一。为了获取获取更加完整的数据信息，今天介绍使用selenium+chromdriver，借助工具进行爬取，以招聘python岗位为关键字。爬取思路可分为以下几个步骤：爬取第一页页面中所有职位的链接：每个职位有...