五逗-CSDN博客

转载 scrapy模板爬网易新闻

# -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from day12.items import WangyiItem class WangyiSpider(CrawlSpider):...

2018-08-28 22:35:05 437

转载使用模板爬拉勾网数据

# -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from day12.items import LagouItem class LagouSpider(CrawlSpider): ...

2018-08-28 22:34:15 288

原创进程和线程是区别

进程： 1.进程是一个实体，每一个进程都有它自己的地址空间，一般情况下，包括文本区域、数据区域和堆栈文本区域（text region）存储处理器执行的代码，数据区域（data region）存储变量和进程执行期间使用的动态分配的内存，堆栈区域（stack region）存储着活动过程调用的指令和本地变量 2.进程是一个执行中的程序。程序是一个没有生命...

2018-08-20 21:41:02 134

原创爬取今日头条图片列表

import re import requests import json import os from urllib import request def sss(): offset = 0 while offset <= 40: # 1.先获取一个页面 url = 'https://www.toutiao.com/search_con...

2018-08-16 22:07:29 293

转载 Python格式化字符

Python格式化字符 %% 百分号标记 #就是输出一个% %c 字符及其ASCII码 %s 字符串 %d 有符号整数(十进制) %u 无符号整数(十进制) %o 无符号整数(八进制) %x 无符号整数(十六进制) %X 无符号整数(十六进制大写字符) %e 浮点数字(科学计数法) %E 浮点数字(科学计数法，用E代替e) %f 浮点数字(用小数点符号) %g 浮点数字(根据值的大小采用%e或...

2018-08-16 09:35:02 226

原创正则匹配，数据库封装

正则匹配：以h开头以3结尾 import re # line = 'h123' # # # 匹配 # match_res = re.match('h1234',line) # # if match_res: # print('匹配成功') # else: # print('匹配失败') # 以h开头后面跟着任意数量的字符 # line = 'h123eeee' # li...

2018-08-15 22:35:06 141

原创爬虫设置cookie

from day01.tuozhan_all import post,get import json from urllib import request,parse from http import cookiejar cookie_object = cookiejar.CookieJar() handler = request.HTTPCookieProcessor(cookie_obj...

2018-08-14 22:25:13 1227

原创数据的两种存储方式 cookie和session

数据的两种存储方式 cookie和session 一：什么是cookie 1、cookie是在服务端创建 2、cooki是保存在浏览器这一端 3、cookie的生命周期可以通过 cookie.setMaxAge(2000); (如果不设置生命周期，cookie的生命周期当浏览器关闭时就消亡) 4、cooki可以被多个浏览器共享 5、一个web应用可以保存多个cookie。但保存在同一...

2018-08-13 21:29:10 7112

boke2222的博客