2018年07月_feiyy404

原创爬虫练习（3）-- 36Kr 站点正则和 ajax 混合

练习 1 里面的豆瓣网站属于发送 ajax 强求获取到 json 数据，练习 2 的果壳属于正则匹配去源码中获取。本次练习的 36Kr 站点是前两者的结合。首页数据放在源码中，往后拖动，发送ajax请求去获取数据。...

2018-07-30 14:45:27 22393 1

原创爬虫练习（2）-- 使用正则匹配爬取果壳问答

从 web 的角度来看，网站架构分为前后端分离和前后端不分离，如果是前后端不分离的结构，我们就需要从响应中去匹配我们希望提取的数据。举个例子就是果壳网的热门问答。去正则匹配之前比较习惯先把代码跑通，我们可以尝试去构建出这样的结构，把当前的整个网页先打印出来，再去...

2018-07-30 00:41:51 526

原创爬虫常用技巧（6）-- 常见抓包工具的使用

介绍Fiddler是一款强大Web调试工具，它能记录所有客户端和服务器的HTTP,HTTPS请求 Fiddler是window平台的工具Charles可以在三大平台(mac,linux,windows)下使用Wireshark跨平台,但是不擅长http抓包使用Fiddler的使用: https://blog.csdn.net/two_water/arti...

2018-07-28 22:58:32 538

原创爬虫常用技巧（5）-- 访问超时处理

使用场景有些站点或者代理反应慢，严重降低效率，这个时候可以设置超时使用示例import requestsurl = 'http://youtube.com'res = requests.get(url, timeout=3)print(res.status_code)联系方式qq：2564493603 欢迎交流 ...

2018-07-28 22:42:15 1659

原创爬虫常用技巧（4）-- 请求SSL证书验证

简单来说，就是忽略未经过认证的报错代码import requestsurl = 'https://www.12306.cn/'# 报错： requests.exceptions.SSLError# res = requests.get(url)res = requests.get(url, verify= False)print(res.status_code)...

2018-07-28 21:52:05 1198

原创爬虫常用技巧（3）-- cookiesjar 与字典之间的相互转化

cookies的类型是cookiejar实例代码import requestsurl = 'https://www.baidu.com'response = requests.get(url)print(response.cookies)运行结果python@ubuntu:~/Desktop/pach$ python3 ckjar.py<Requests...

2018-07-28 21:40:08 5010

原创爬虫常用技巧（2）-- 会话保持

使用Session的实例对象session保持登陆状态注意点1 再次进行get的时候使用session.get 2 不要写错url 地址示例代码#coding:utf-8import requestsimport reurl = 'http://www.renren.com/PLogin.do'headers = { 'User-Agent': 'Moz...

2018-07-28 21:25:58 661

原创爬虫常用技巧（1）-- 基本技能

面向对象编写爬虫注意点1 format 传参 2 生成 index 区分文件名 3 面向对象的思维，获取数据，保存数据，运行三部分分开 4 sys.argv 命令行传参示例代码import requestsimport timeimport sysclass Tieba(object): def __init__(self, name): ...

2018-07-28 20:50:10 541

转载 Mercurial手册

Hg常用命令hg in 查看远程 repo 中未拉取的代码；hg pull 拉取远程 repo 代码到本地；hg update 更新本地代码；hg pull -u 拉取远程 repo 代码并更新到本地；hg commit -m ‘’ 提交代码及说明；hg out 查看提交到暂存区中的代码；hg push 将暂存区中的代码推上 repo；hg branch...

2018-07-18 23:51:40 326

转载 request的基本特性

发送请求导入模块发送get请求：>>> import requests>>> r = requests.get('https://api.github.com/events')假设我们有一个名字叫做r的Response对象发送pos请求的时候的key和value是一个字典：r = requests.post('http://http...

2018-07-18 23:40:16 874

转载 RPC 的概念模型与实现解析（转载）

转载链接：https://mp.weixin.qq.com/s?__biz=MzAxMTEyOTQ5OQ==&mid=2650610547&idx=1&sn=2cae08dbf62d9a6c2f964ffd440c0077近几年的项目中，服务化和微服务化渐渐成为中大型分布式系统架构的主流方式，而 RPC 在其中扮演着关键的作用。在平时的日常开发中我们都在隐式或显式的使...

2018-07-18 00:43:06 253

翻译 Django的单元测试

django为我们提供了一组在测试的时候可以用得上的工具。首先当我们要使用一个测试客户端的时候，我们需要去实例化一个django.test.Client 然后进行网页检索：>>> from django.test import Client>>> c = Client()>>> response = c.post('/logi...

2018-07-16 09:34:51 456

转载 mac下环境变量的命令行相关操作

基本操作1 查看环境变量：echo $PATH2 增加环境变量export ANDROID_NDK=~/Applications/android-ndk-r10d3 增加PATH环境变量：export PATH=~/Applications/apache-ant-1.9.4/bin:$PATH环境变量的位置位置级别读写权限摘要...

2018-07-09 23:35:36 3911

转载在mac中使用key进行SSH远程登录

在本地机器上生成rsa文件；执行以下命令之后，根据提示直接按回车即可：ssh-keygen -t rsa -C yourmail@example.com查看存储在本地的public key文件：cd ~/.ssh/ls -al然后我们需要把公钥的内容加到远程服务器的authorizedkeys 文件中，authorized_keys 文件在~/.ssh目录中。登陆远...

2018-07-09 22:35:11 4893

转载关于hg的使用

关于集中式和分布式的讨论“分布式版本控制的问题是太容易创建分支了, 而分支是最容易出问题的”, 这个观点同样是错误的. Subversion 的分支容易出问题, 主要是因为 Subversion 没有提供足够多的信息来保证分支合并的正常工作. 对于 Mercurial, 分支合并是一件很轻松惬意的事, 所以创建分支是很稀松平常的, 而且无毒副作用.新写好的代码总是充满了 bug. 你需要花...

2018-07-09 09:30:04 2567

翻译 Django--The Forms API

本文分为四个部分，首先是Web表单的基础知识，然后分表单API 表单字段以及表单和字段验证 3个部分来详细说明。Web表单的基础知识HTML forms在HTML中，表单是内部元素的集合…，允许访问者执行诸如输入文本，选择选项，操纵对象或控件等操作，然后将该信息发送回服务器。除了它的元素，表单必须指定两件事： where：输入数据之后的回调url how：返回数据的h...

2018-07-08 23:55:55 345

转载 Django Girls 教程阅读笔记

原文链接：https://tutorial.djangogirls.org/zh/为什么要安装代码编辑器你可能会疑惑为什么我们要安装代码编辑器软件，而不是使用如 Word 或记事本这样的软件。第一个理由是代码应该是纯文本，如 Word 和Textedit的程序实际上不能产生纯文本，它们产生富文本 (含有字体和格式)，使用自定义的格式，如 RTF (Rich Text Format)....

2018-07-07 20:49:53 589

翻译 tastypie使用

1 首先就是按照常规流程创建虚拟环境，并且在虚拟环境中创建了Django项目。2 然后安装django-tastypie$ pip install django-tastypie3 创建文件expenses/models.py，用来存放和tastypie相关的一些东西。假设我们的项目是用来解决一些关于一个叫Expense的资源的示例。我们就在expenses/models.py...

2018-07-06 09:32:33 1020

Enjolras_fuu的博客