- 博客(17)
- 收藏
- 关注
RSS订阅原创 re爬取糗图
import urllib.requestimport reimport osimport time# 输入起始页码和结束页码start_page = int(input('请输入起始页码-'))end_page = int(input('请输入结束页码-'))#https://www.qiushibaike.com/pic/page/2/url = 'https://www.q...
2019-10-31 18:55:56
667
原创 re学习（二）
（1）单字符匹配 \d 0-9 [0-9] \D 除了\d \w 数字、字母、下划线、一个中文 [0-9a-zA-Z_] \W 除了\w \s 匹配所有的空白字符，比如空格，\t \r \n \S 除了\s . 可以任意字符，除了 \n [...
2019-10-29 08:29:42
223
原创 re学习（一）
# coding: utf-8import re'''re.match()re.search() 返回的都是一个对象，obj.group()re.findall() 返回的是一个列表re.compile()re.sub()'''string = '<div>浪花淘尽英雄，是非成败转头空！</div></div></div...
2019-10-28 21:12:19
330
原创 使用cookie模拟登陆
访问登录后的页面（1）抓包，抓取浏览器的cookie值，然后到代码中应用import urllib.requesturl = 'http://www.renren.com/960481378/profile'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHT...
2019-10-25 08:51:05
604
原创 代理--ip池的使用--阿布云的使用
代理import urllib.requestproxy = { "http": "34.84.238.121"}url = "https://www.baidu.com/s?ie=UTF-8&wd=ip"handler = urllib.request.ProxyHandler(proxies=proxy)opener = urllib.request.build...
2019-10-23 18:17:04
929
原创 Handler处理器、自定义Opener
在请求里面，还有两个高级功能，一个是代理，一个是cookie，学习handler和opener使用的步骤: 见代码# coding: utf-8import sysimport iosys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030')import urllib.requesturl = 'http:...
2019-10-18 09:34:43
133
原创 爬虫异常处理
# coding: utf-8import urllib.requestimport urllib.errorurl = "https://www.cnblogs.com/"try: response = urllib.request.urlopen(url)except urllib.error.HTTPError as e: print(e)except url...
2019-10-18 08:53:48
219
原创 爬取百度贴吧
#coding: utf-8import urllib.requestimport urllib.parseimport time# http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=0# http://tieba.baidu.com/f?kw=python&ie=utf-8&pn=50# http://ti...
2019-10-17 22:26:27
247
原创 字符串匹配算法（KMP算法）
力扣实现 strStr() 函数。给定一个 haystack 字符串和一个 needle 字符串，在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存在，则返回 -1。int strStr(char * haystack, char * needle){ int i = 0; int j = 0; int h_le...
2019-10-17 17:50:37
168
原创 模拟各种请求方式（二）
ajax-post:# coding: utf-8import urllib.requestimport urllib.parseurl = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"cname = input("请输入当前城市：")formdata = { 'cname': cname, ...
2019-10-17 08:18:43
231
原创 模拟各种请求方式（一）
get请求：# coding: utf-8import urllib.requestimport urllib.parse# https://www.baidu.com/s?ie=UTF-8&wd=%E6%97%A5%E6%9C%ACkeyword = input("请输入关键字：")url = "https://www.baidu.com/s?"data = { ...
2019-10-15 09:24:27
581
原创 编码转换及拼接
#coding: utf-8import urllib.parseurl = "https://www.baidu.com/s?ie=UTF-8&wd=美女"print(urllib.parse.quote(url)) # https%3A//www.baidu.com/s%3Fie%3DUTF-8%26wd%3D%E7%BE%8E%E5%A5%B3string = url...
2019-10-13 16:50:46
468
原创 防盗链
#coding:utf-8import urllib.request"""# 下载普通图片url = "http://pic22.nipic.com/20120725/9676681_001949824394_2.jpg"response = urllib.request.urlopen(url)with open("k.jpg", "wb")as fp: fp.write(r...
2019-10-13 16:02:49
283
原创 http协议及抓包工具
http协议 网站的工作原理：见图形 url介绍： 一个完整的url： http://www.baidu.com:80/index.html?username=goudan&password=123#lala 协议 主机 端口 请求资源 参数（query_string） 锚点 h...
2019-10-12 09:10:35
567
原创 urllib.request.urlretrieve及添加headers
下载图片：import urllib.request# url = "http://www.baidu.com/"## response = urllib.request.urlretrieve(url, "hh.html")## print(response)image_url = "https://img04.sogoucdn.com/net/a/04/link?url=ht...
2019-10-12 09:02:47
2196
原创 urllib库解析
# coding:utf-8import urllib.requesturl = "https://www.baidu.com"response = urllib.request.urlopen(url)print(response) # 内存地址print(response.url) # 打印urlprint(response.status) # 200#prin...
2019-10-10 17:29:54
173
原创 整数转换为字符串（附上力扣代码）
#include<stdio.h>#include<stdlib.h>#pragma warning(disable: 4996)int main() { int number = 1234; char string[12] = { 0 }; itoa(number, string, 10); printf("Num:%d; Str:%s\n", numb...
2019-10-08 17:35:22
408
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人