- 博客(16)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 python中（numpy.array）数组的基本操作
1. 数组的常用函数# 数组的常用函数np.arange(0,7,1,dtype=np.int16) # 0为起点，间隔为1时可缺省(引起歧义下不可缺省)np.ones((2,3,4),dtype=np.int16) # 2页，3行，4列，全1，指定数据类型np.zeros((2,3,4)) # 2页，3行，4列，全0np.empty((2,3)) #值取决于内存np.arange(0...
2019-09-30 16:35:23
247
原创 pytorch中tensor张量数据类型的转化
1.tensor张量与numpy相互转换tensor ----->numpyimport torcha=torch.ones([2,5])tensor([[1., 1., 1., 1., 1.], [1., 1., 1., 1., 1.]])# ********************************** b=a.numpy()arra...
2019-09-29 16:57:13
21449
原创 协程任务流程
协程爬虫流程分析协程工作流程分析# 打猴子补丁，在遇到阻塞时，实现多个协程任务自动切换from gevent import monkeymonkey.patch_all()import geventimport time# 定义任务函数，表示需要执行的任务def task(msg): for i in range(5): print(msg) ...
2019-09-24 16:19:22
155
原创 Queue类
Queue类：是 Python标准库中的线程安全的队列(FIFO)实现，提供了一个适用于多线程编程的先进先出的数据结构----队列，用于生产者和消费者线程之间的信息传递。队列是线程间最常用的交换数据的形式。这里有个问题,为什么使用队列( Queue)，不使用 Python原生的列表(List)或字典(Dict)类型呢？原因是List,Dict等数据存储类型都是非线程安全的。在多线程中,为了防止共享...
2019-09-24 15:34:12
896
原创 多线程爬虫流程
1.多线程爬虫流程分析2.queue模块2.1Queue：先进先出队列，类似火车站排队from queue import Queue# Queue：先进先出队列，类似火车站排队# 创建Queue对象# maxsize 用于指定Queue队列的容量，最多可以放多少元素，不指定则没有限制q = Queue(maxsize=3)# 存储元素q.put(1)q.put(2)# q...
2019-09-24 14:26:22
1171
原创 爬虫数据解析
Python中常见的解析技术：正则、xpath、BeautifullSoup、json模块、jsonpath正则：从任意的字符串中查找需要数据Ⅹpath, BeautifullSoup都是用于处理有层次结构的数据,比如:html,xmlisQn模块与 nonpath:专门用于处理json数据性能正则：最快,使用难度高,无需安装,内置re模块Xpath：是通过c语言实现,速度比较快,使用比...
2019-09-23 17:14:50
425
原创 urllib库（五）
1.requests库中提供了如下常用的类requests.Request:表示请求对象,用于准备一个请求发送到服务器requests.Response:表示响应对象,其中包含服务器对HTTP请求的响应requests.session:表示请求会话,提供 Cookie持久性、连接池和配置import requests# 准备urlurl = 'https://www.baidu.co...
2019-09-23 14:59:27
298
原创 urllib库（四）
异常与捕获URLError产生的原因主要有:**1.**没有连接网络**2.**股务器连接失败**3.**找不到指定的服务器import urllib.request import urllib.error# 构建请求对象request=urllib.request.Request('http://www.adadfwec.com')try: # 发送请求 respons...
2019-09-23 11:17:18
102
原创 urllib库（三）
1.设置代理服务器import urllib.requestimport random# 实现启用代理或不启用(定义变量，记录是否启用代理）proxy_switch = True# 代理列表proxies_list = [ {'HTTP': '118.193.107.238:80'}, {'HTTP': '117.78.50.121:8118'}, {'HTTP': '118....
2019-09-23 10:18:36
1480
原创 urllib库（二）
处理GET和POST请求1.GET请求import urllib.requestimport urllib.parse# 准备URLurl = 'http://www.baidu.com/s?'# 准备字典参数param = {'wd': 'douyuTV'}# 进行url编码param_str = urllib.parse.urlencode(param)# 拼接URLu...
2019-09-23 09:15:04
100
1
原创 urllib库（一）
urllib库是python3内置的HTTP请求库，urllib库的四大模块：urllib.request:请求模块urllib.error:异常处理模块urllib.parse:URL解析模块urllib.robotparser:robots.txt解析模块1.快速抓取网页import urllib.request# 发送URL其你去，获取响应reponse = urllib...
2019-09-21 09:12:12
136
原创 Anaconda中pip使用
安装Anaconda后用tensorflow中pip安装包：>conda info --envs显示如下：# conda environments:#base * C:\Users\**\Anaconda3tensorflow C:\Users\**\Anaconda3\envs\tensorflow激活对应环...
2019-09-19 17:36:49
3427
原创 torch.manual_seed(args.seed)的作用
# 为CPU设置种子用于生成随机数，以使得结果是确定的torch.manual_seed(args.seed)# torch.cuda.manual_seed()为当前GPU设置随机种子if args.cuda: torch.cuda.manual_seed(args.seed)# 如果使用多个GPU，应该使用torch.cuda.manual_seed_all()为所有的GP...
2019-09-18 09:53:16
8180
原创 np.random.seed()的作用
>>> np.random.seed(5)>>> np.random.rand(3)array([0.22199317, 0.87073231, 0.20671916])>>> np.random.seed(5)>>> np.random.rand(3)array([0.22199317, 0.87073231, ...
2019-09-18 09:41:58
221
原创 运行pip指令时相关错误解决方法
那么就用下面的命令来强制重装 pip：python3 -m pip install --upgrade --force-reinstall pippython2 -m pip install --upgrade --force-reinstall pip至此就解决了pip的错误。
2019-09-09 21:19:04
1194
1
原创 import cv2的安装
>>>pip3 install cv2 Collecting cv2 ERROR: Could not find a version that satisfies the requirement cv2 (from versions: none) ERROR: No matching distribution found for cv2没有找到cv2应该安装openc...
2019-09-01 15:56:14
2655
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人