fyw0615-CSDN博客

原创浅谈进程和线程

进程（process）和线程（thread）进程和线程都是一个时间段的描述，是CPU工作时间段的描述。不过是颗粒大小不同： 1.计算机的核心是CPU，承担所有计算任务，就像一座工厂。假定工厂的电力有限，一次只能给一个车间使用。也就是说，一个车间开工的时候，其他车间都必须停工。背后的含义就是说单个CPU...

2018-08-20 19:32:58 219

原创雪球

# 首先导入包 import json import requests # 因为不能访问所以定义一个headers headers = { 'Cookie': 'aliyungf_tc=AQAAAODXGFvpEAQAUhVFeWRkaVV0fMTp; xq_a_token=584d0cf8d5a5a9809761f2244d8d272bac729ed4; xq_a...

2018-08-16 14:02:06 565

原创笔记----0815

0.知识点简要回顾一.爬虫的过程 1. 需求，确定有需求的人到底想要什么 2. 根据需求寻找网站 3. 网站数据获取到本地（urllib，requests） 4. 定位数据（正则，xpath，json） 5. 存储（数据库，磁盘，网络发送）（mysql，redis，文件） 6.反爬虫：其他公司不想让我们获取他们的数据，通过HTTP请求头，请求频率（通过判断是不是同一个ip，投...

2018-08-15 20:58:17 157

原创人人网登陆二

from tuozhan_all import session import json # url url = 'http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=2018721441132' # form form = { 'email': '15110048913', 'icode': '', ...

2018-08-14 20:55:58 338

原创人人网登陆一

#导入封装文件（爬虫基础：函数封装(更新一)） from tuozhan_all import post, get import json from urllib import request, parse # 保存cookie from http import cookiejar # 通过对象保存cookie cookie_object = cookiejar.CookieJar()...

2018-08-14 20:44:16 3018

原创爬虫基础：函数封装(更新一)

# 导入包，模块 from urllib import request, parse from urllib.error import HTTPError, URLError #保存cookie from http import cookiejar #对于有登录是所将用户记录下来 class session(object): def __init__(self): ...

2018-08-13 20:58:44 495

原创 1.session,cookie是什么以及两者之间的联系和区别

cookie（实际上是一小段文本信息）：实际上是一小段文本信息客户端发送请求，服务器记录用户状态并使用response向客户端发送一个cookie。客户端会把cookie保存起来。当浏览器再请求该网站时，浏览器会把请求的网址连同该cookie一同提交给服务器。服务器检查该cookie以此辨认用户状态。若设置了过期时间，浏览器就会把cookie保存到硬盘上，关闭后再次打开浏览...

2018-08-13 20:12:44 344

fyw0615的博客