- 博客(8)
- 收藏
- 关注
转载 scrapy模板爬网易新闻
# -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from day12.items import WangyiItem class WangyiSpider(CrawlSpider):...
2018-08-28 22:35:05
437
转载 使用模板爬拉勾网数据
# -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from day12.items import LagouItem class LagouSpider(CrawlSpider): ...
2018-08-28 22:34:15
288
原创 进程和线程是区别
进程: 1.进程是一个实体,每一个进程都有它自己的地址空间,一般情况下,包括文本区域、数据区域和堆栈 文本区域(text region) 存储处理器执行的代码, 数据区域(data region) 存储变量和进程执行期间使用的动态分配的内存, 堆栈区域(stack region) 存储着活动过程调用的指令和本地变量 2.进程是一个执行中的程序。程序是一个没有生命...
2018-08-20 21:41:02
134
原创 爬取今日头条图片列表
import re import requests import json import os from urllib import request def sss(): offset = 0 while offset <= 40: # 1.先获取一个页面 url = 'https://www.toutiao.com/search_con...
2018-08-16 22:07:29
293
转载 Python格式化字符
Python格式化字符 %% 百分号标记 #就是输出一个% %c 字符及其ASCII码 %s 字符串 %d 有符号整数(十进制) %u 无符号整数(十进制) %o 无符号整数(八进制) %x 无符号整数(十六进制) %X 无符号整数(十六进制大写字符) %e 浮点数字(科学计数法) %E 浮点数字(科学计数法,用E代替e) %f 浮点数字(用小数点符号) %g 浮点数字(根据值的大小采用%e或...
2018-08-16 09:35:02
226
原创 正则匹配,数据库封装
正则匹配 :以h开头以3结尾 import re # line = 'h123' # # # 匹配 # match_res = re.match('h1234',line) # # if match_res: # print('匹配成功') # else: # print('匹配失败') # 以h开头后面跟着任意数量的字符 # line = 'h123eeee' # li...
2018-08-15 22:35:06
141
原创 爬虫设置cookie
from day01.tuozhan_all import post,get import json from urllib import request,parse from http import cookiejar cookie_object = cookiejar.CookieJar() handler = request.HTTPCookieProcessor(cookie_obj...
2018-08-14 22:25:13
1227
原创 数据的两种存储方式 cookie和session
数据的两种存储方式 cookie和session 一:什么是cookie 1、cookie是在服务端创建 2、cooki是保存在浏览器这一端 3、cookie的生命周期可以通过 cookie.setMaxAge(2000); (如果不设置生命周期,cookie的生命周期当浏览器关闭时就消亡) 4、cooki可以被多个浏览器共享 5、一个web应用可以保存多个cookie。但保存在同一...
2018-08-13 21:29:10
7112
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人