- 博客(21)
- 收藏
- 关注
RSS订阅原创 ConnectionError Max retries exceeded with url
做爬虫的时候遇到的问题，找了很久网上的办法都试了，没什么用，试了好久才知道！错误类型：requests.exceptions.ConnectionError: HTTPSConnectionPool(host=‘www.qiushibaike.com’, port=443): Max retries exceeded with url: /hot/page/1 (Caused by NewCo...
2019-04-29 10:57:36
1102
原创 python 测试题4-12
1.将以下网址提取出域名：s2 = """http://www.interoem.com/messageinfo.asp?id=35`http://3995503.com/class/class09/news_show.asp?id=14http://lib.wzmc.edu.cn/news/onews.asp?id=769http://www.zy-ls.com/alfx.asp?n...
2019-04-17 19:34:38
294
原创 正则表达式
正则表达式1.正则表达式的基本使用import rere.match(r’xxx’, 匹配的字符串) 尝试从字符串的起始位置匹配一个模式匹配成功re.match方法返回一个匹配的对象，否则返回None。可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式，groups()返回的是一个元组。2.使用正则表达式匹配单个字符.匹配任意1个字符（除了\n） r...
2019-04-13 22:46:09
126
原创 python 爬虫 单任务 爬取虎牙美女小姐姐
准备工作先进入虎牙直播分类颜秀把网页源码保存在meinv.html的文件中，放在pycharm 项目当前路径下。然后把爬取后的文件保存在pycharm项目当前目录下的picture文件夹下（文件夹提前生成）import urllib.requestimport geventimport refrom gevent import monkeymonkey.patch_all()...
2019-04-13 22:34:44
377
1
原创 python 爬虫 多任务方式 协程 爬取虎牙美女小姐姐
准备工作先进入虎牙直播分类颜秀把网页源码保存在meinv.html的文件中，放在pycharm 项目当前路径下。然后把爬取后的文件保存在pycharm项目当前目录下的picture文件夹下（文件夹提前生成）多任务思路：先创建卵，把卵创建完后放入列表a中再运用gevent.joinall(a)采用多任务方式下载import urllib.requestimport gevent...
2019-04-13 22:10:31
543
原创 python 爬虫 运用urlopen() 和urlretrieve()方法傻瓜操作 爬取虎牙直播主播头像
1，抓取网站源码运用的方法1.urlopen()方法urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示远程数据的路径，一般是网址；参数data表示以post方式提交到url的数据(玩过web的人应该知道提交数据的两种方式：post与get。如果你不清楚，也不...
2019-04-13 20:22:44
451
原创 sys.argv[]
sys.argv[0]表示代码本身文件路径”这点，其实还是不明其意。后来经过大量努力，多方求教才真正明悟了，谨以记录和分享，希望能从另一个角度给同在求索过程中的同学一点启发。sys.argv[]说白了就是一个从程序外部获取参数的桥梁，这个“外部”很关键，所以那些试图从代码来说明它作用的解释一直没看明白。因为我们从外部取得的参数可以是多个，所以获得的是一个列表（list)，也就是说sys....
2019-04-10 15:01:26
124
原创 udp-多任务聊天器
import socketimport threadingdef recv_msg(udp_socket): """接收数据""" while True: recv_data = udp_socket.recvfrom(1024) print(recv_data[0].decode("gbk"))def send_msg(udp_socke...
2019-04-09 20:27:05
105
原创 python测试题04-08
1.一个数组 my_list=range(10),我想获取如下几个数组，该如何切片？[1,2,3,4,5,6,7,8,9] my_list = [1:10:1][1,2,3,4,5,6] my_list[1:7:1][3,4,5,6] my_list[3:7:1][9] my_list[9:10:1] [1,3,5,7,9] my_list[1:10:2...
2019-04-08 19:52:26
215
原创 爬虫（第二天）
发送带headers的请求headers = {“User-Agent”:“从浏览器中复制”}requests.get(url,headers=headers)发送带参数的请求params = {"":""}url_temp = “不完整的URL地址”requests.get(url_temp,params=params)列表推导式In [41]: [i for i in rang...
2019-04-08 14:50:54
64
原创 udp聊天-升级-可以控制操作
mport socketdef send_msg(udp_socket): """发送消息""" # 获取要发送的内容 dest_ip = input("请输入对方的ip:") dest_port = int(input("请输入对方的port:")) send_data = input("请输入要发送的消息：") udp_socket.sen...
2019-04-08 13:54:17
96
原创 网络TCP
网络TCP概述TCP协议，传输控制协议（英语：Transmission Control Protocol，缩写为 TCP）是一种面向连接的、可靠的、基于字节流的传输层通信协议。TCP通信需要经过创建连接、数据传送、终止连接三个步骤。类似于日常生活中打电话的场景，需要建立链接，确认发送结果，安全传输。TCP严格区分客户端和服务端，服务端一般都**需要绑定端口，**否则客户端找不到该服务器，客户...
2019-04-08 13:25:13
115
原创 网络udp
什么是socket？socket(简称 套接字) 是进程间通信的一种方式，它与其他进程间通信的一个主要不同是：它能实现不同主机间的进程间通信，socket属于全双工。关于创建套接字的参数说明：socket.socket(AddressFamily, Type)Address Family：可以选择 AF_INET（用于 Internet 进程间通信） 或者 AF_UNIX（用于同一台机器...
2019-04-08 13:14:36
171
原创 用python实现文件下载客户端和服务器
文件下载客户端import socketdef main(): #创建套接字 tcp_socket = socket.socket(socket.AF_INET,socket.SOCK_STREAM) #连接服务器 dest_ip = input("请输入下载服务器的ip:") dest_port = int(input("请输入下载服务器的port:"...
2019-04-08 10:39:33
1050
原创 爬虫（第一天）
爬虫的概念爬虫就是：模拟浏览器发送网络请求，获取请求响应爬虫的流程url – > 发送请求，获取响应---->提取数据—》保存获取响应 --》提取url地址，继续请求浏览器的请求过程浏览器获取的数据包含:url地址对应的响应+js+css+jpg爬虫会获取：url地址对应的响应爬虫获取的内容和elements内容不一样，进行数据提取的时候，需要根据url地址对应的响应为...
2019-04-03 20:56:21
105
原创 python自测题（4月2号）
1.如何实现 “1,2,3” 变成 [‘1’,’2’,’3’] ? 如何实现[‘1’,’2’,’3’]变成[1,2,3] ?（代码题）a="1,2,3"b= a.split(",")print(b)print(type(b[1]))print(",".join(b))c = list()for i in ['1','2','3']: c.append(int(i))...
2019-04-03 17:43:54
156
原创 format（）函数
通过{}和:来代替%。请看下面的示例，基本上总结了format函数在python的中所有用法#通过位置print ('{0},{1}'.format('chuhao',20))print ('{},{}'.format('chuhao',20))print('{1},{0},{1}'.format('chuhao',20))#通过关键字参数print ('{name},{age}...
2019-04-03 17:29:49
13223
原创 python实现二分查找（递归与非递归）
1，二分查找（非递归算法）def binary_search_3(alist,item): """ 二分法查找 :param alist: :param item: :return: """ start = 0 end = len(alist)-1 while start <= end: mid = (...
2019-04-01 16:59:49
859
原创 二叉树的遍历
二叉树⼆叉树的性质(特性)性质1: 在⼆叉树的第i层上⾄多有2^(i-1)个结点（i>0性质2: 深度为k的⼆叉树⾄多有2^k - 1个结点（k>0）性质3: 对于任意⼀棵⼆叉树，如果其叶结点数为N0，⽽度数为2的结点总数 为N2，则N0=N2+1;性质4:具有n个结点的完全⼆叉树的深度必为 log2(n+1)性质5:对完全⼆叉树，若从上⾄下、从左⾄右编号，则编号为i 的...
2019-04-01 16:56:26
152
原创 常见排序算法
1.冒泡排序def bubble_sort(alist):“”“冒泡排序”""# 外层循环控制循环次数for j in range(len(alist)-1):# j [0, 1,2,…n-2]#n-2-jcount = 0# 内层循环控制从头走到尾的遍历for i in range(0,len(alist)-1-j):if alist[i]>alist[i+1]:al...
2019-03-31 23:44:17
82
原创 shell编程
为文件增加执行权chmod +x 文件名脚本执行一般用绝对命令。shell执行的方式Shell脚本的执行通常可以采用以下几种方式bash /path/to/script-name 或 /bin/bash /path/to/script-name （强烈推荐使用）/path/to/script-name 或 ./script-name （当前路径下执行脚本）so...
2019-03-24 23:11:35
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人