python
土豆家的地瓜啊
这个作者很懒,什么都没留下…
展开
-
python基础 pickle对象序列化
pickle python对象序列化什么是序列化序列化(Serialization)是将对象的状态信息转换为可以存储或传输的形式的过程。 在序列化期间,对象将其当前状态写入到临时或持久性存储区。 以后,可以通过从存储区中读取或反序列化对象的状态,重新创建该对象。模块 pickle 实现了对一个 Python 对象结构的二进制序列化和反序列化。 “Pickling” 是将 Python ...原创 2020-04-22 20:17:14 · 209 阅读 · 0 评论 -
统计学习方法-k近邻法-python代码实现
knn本文主要结合书中例3-2的数据,构建kd树,并预测点[6.8,0],[2,4.5]的最邻近点。代码实现:import numpy as npclass Node: def __init__(self, data, lchild = None, rchild = None): self.data = data self.lchild = lchi...原创 2019-10-21 21:03:35 · 198 阅读 · 0 评论 -
统计学习方法-感知机-原始形式与对偶形式-python代码实现
感知机取书本上的正例点(3,3),(4,3),负例点(1,1)以下是感知机的python代码实现:原始形式代码:import numpy as npimport matplotlib.pyplot as pltdata = np.array([[3, 3, 1], [4, 3, 1], [1, 1, -1]])X = data[:, :2]y = data[:, -1]c...原创 2019-10-19 21:18:28 · 439 阅读 · 0 评论 -
Python代码实现将png格式图片批量转换为jpg个格式
Python代码实现将png格式图片批量转换为jpg个格式问题由来:最近在做行人检测相关的项目,需要用opencv处理数据集,选用的是INNRIA数据集,但是opencv打开png格式的图片总是报错,故需要将图片转换为jpg格式。代码实现:import osfrom PIL import Imagedirname_read="png格式文件夹路径/" //注意后面的斜杠dirn...原创 2019-03-15 10:52:25 · 11583 阅读 · 15 评论 -
使用requests和xpath爬取豆瓣top250电影
1 网页分析一页有25部电影,第一页start= ,第二页是从start=25开始,分析出start的作用,只需要10个循环,便可访问到250部电影的所有页面。通过分析网页源码,我们可以看到,所有电影都归到[ol]标签下。每一个[li]下包含一部电影。以下图为例,分析出对应关系后,便可以针对性的提取出想要的信息。2 代码展示import requestsfrom lxml impo...原创 2019-05-06 23:19:57 · 1594 阅读 · 0 评论 -
python 使用multiprocessing进行多进程爬虫
python 多进程模块multiprocessing概述multiprocessing 是一个用与 threading 模块相似API的支持产生进程的包。 multiprocessing 包同时提供本地和远程并发,使用子进程代替线程,有效避免 Global Interpreter Lock 带来的影响。因此,multiprocessing 模块允许程序员充分利用机器上的多个核心。Unix ...原创 2019-09-07 11:20:50 · 1095 阅读 · 0 评论 -
以爬取知乎为例,进行python 多进程爬虫性能分析
以爬取知乎为例,进行python 多进程爬虫性能分析如果对多进程multiproessing模块不熟悉,请先浏览python 使用multiprocessing模块进行多进程爬虫问题背景:爬取知乎赞同超过10K的回答集合内的问题分别采用以下策略爬取,对性能进行分析,并考虑对临界资源互斥访问单进程爬取多进程process爬取多进程Pool爬取单进程爬取爬取前50页代码:...原创 2019-09-07 14:12:10 · 1659 阅读 · 1 评论 -
实战 pyton多进程爬取知乎合集页面并保存
实战 pyton多进程爬取知乎合集页面并保存目标:爬取知乎合集赞同超过10k的回答下的所有回答。1.存入mongoDB数据库2.以markdown存入文件夹代码:#-*- coding:utf-8 -*-import requestsfrom lxml import etreeimport html2textfrom multiprocessing import Poolim...原创 2019-09-11 14:58:39 · 253 阅读 · 0 评论