2017年09月_oldbig_lin

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 scrapy爬虫的暂停与重启

首先要有一个scrapy项目这里用我的爬取知乎用户信息的项目来做例子：https://github.com/oldbig-carry/zhihu_user在cmd上cd 进入项目然后在项目目录下创建记录文件：remain/001然后输入：scrapy crawl zhihu -s JOBDIR=remain/001回车运行就行了

2017-09-29 17:32:38 9066 4

原创在github的readme添加图片

我们知道github上的readme式不能直接复制黏贴图片的，那么怎么将图片显示在readme上呢？首先将图片放在仓库里面，在文件里链接它，最后 push 到 github 上。然后在readme里面添加：github 图片链接格式：![](img_url)即叹号! + 方括号[ ] + 括号( ) 其中叹号里是图片的URL。然

2017-09-29 16:56:02 1151

转载 Mongo数据库安装与入门

一，什么是MongoDB ?MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以

2017-09-26 22:40:54 986

原创 Python模拟登陆万能法-微博|知乎

Python模拟登陆让不少人伤透脑筋，今天奉上一种万能登陆方法。你无须精通HTML，甚至也无须精通Python，但却能让你成功的进行模拟登陆。本文讲的是登陆所有网站的一种方法，并不局限于微博与知乎，仅用其作为例子来讲解。用到的库有“selenium”和“requests”。通过selenium进行模拟登陆，然后将Cookies传入requests，最终用requests进行网站的抓取。优点

2017-09-24 22:03:50 2250

转载 python的学习路线

1Python基础（第1周）课程目标1.掌握Python基础相关的知识；2.为后续的学习打下坚实的基础。作业/案例2048小游戏。包含知识点：Python语法基础、Python控制流、函数、面向对象。主要内容1.Python初识2.Python语法基础3.Python控制流与小实例4.Python函数详解5.Python模块实战6.Python文件操

2017-09-24 16:59:28 1022

原创 scrapy初始第三波——CrawlSpider爬取拉勾招聘网

一，前言之前利用scrapy爬取伯乐在线，知乎时是用到scrapy的basic模板，即Spider，这次用CrawlSpider来爬取拉勾网的招聘信息 CrawlSpider基于Spider，但是可以说是为全站爬取而生，是目前最流行的scrapy模板二，创建工程在cmd中cd进入项目的目录，然后输入：scrapy gensipder -t crawl lagou w

2017-09-24 15:04:00 4389

原创 python3模拟登录知乎

1，前言在爬虫的世界里，模拟登录是一项必备的技能，很多网站登录才能有浏览信息的权限，今天就在python来模拟登录知乎2，获取登录时post的参数在网页上输入知乎的url：https://www.zhihu.com/#signin，随便输入一个手机号（13265604588）和密码（1234），按f12，然后点击登录，在 network就能获取提交的表单这

2017-09-17 15:01:35 6836 1

原创 scrapy初始第一波——爬取伯乐在线所有文章

1 前言要说到爬虫界的明星，当属我们的python，而这得益于我们的爬虫明星框架--scrapy，这就让我们不得不学习它，这几天刚好用它做一些小demo，就将其总结一下，希望能对大家的学习爬虫有所帮助。这次要爬取的是我们IT界挺有名的技术文章网站--伯乐在线的所有文章，并解析文章详情，本文适合有一定爬虫基础的同学（用过requests库，urllib库之类的）本人的

2017-09-14 12:56:31 4547

原创使用python3的Selenium启动chromedriver

1 Selenium1.1 简介 Selenium 是什么？一句话，自动化测试工具。它支持各种浏览器，包括 Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。换句话说叫 Selenium 支持这些浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Rub

2017-09-06 23:16:47 50742 4

chromedriver_linux64

chromedriver_linux64,chromedriver_linux64,chromedriver_linux64,chromedriver_linux64,chromedriver_linux64,chromedriver_linux64,chromedriver_linux64.实测有效

2017-11-02

log4j-api-2.2！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

2017-10-24