排序:
默认
按更新时间
按访问量

多线程爬虫案例

Queue(队列对象) Queue是python中的标准库,可以直接import Queue引用;队列是线程间最常用的交换数据的形式 python下多线程的思考 对于资源,加锁是个重要的环节。因为python原生的list,dict等,都是not thread safe的。而Queue,是线...

2018-11-04 21:44:33

阅读数:11

评论数:0

scrapy-redis源码自带项目说明

使用scrapy-redis的example来修改 先从github上拿到scrapy-redis的示例,然后将里面的example-project目录移到指定的地址: # clone github scrapy-redis源码文件 git clone https://github.com/...

2018-10-27 15:03:02

阅读数:25

评论数:0

Selenium与PhantomJS

Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。 Selenium 可以根...

2018-10-26 22:03:53

阅读数:22

评论数:0

django验证码

在用户注册、登录页面,为了防止暴力请求,可以加入验证码功能,如果验证码错误,则不需要继续处理,可以减轻业务服务器、数据库服务器的压力。 手动实现验证码 1)安装包Pillow3.4.1。 pip install Pillow==3.4.1 以下代码中用到了Image、ImageDraw、...

2018-10-25 17:15:57

阅读数:9

评论数:0

css权重

css权重指的是样式的优先级,有两条或多条样式作用于一个元素,权重高的那条样式对元素起作用,权重相同的,后写的样式会覆盖前面写的样式。 权重的等级 可以把样式的应用方式氛围几个等级,按照等级来计算权重。 !important,加载样式属性值后,权重值为10000 内联样式,如:style=...

2018-10-15 20:09:50

阅读数:17

评论数:0

梨视频爬取

网络爬虫在现在很常见,这一篇介绍一下怎么使用python爬虫来爬取梨视频中的短视频。话不多说,开始吧! 导入类库 import requests #xpath库 import lxml.html #selenium浏览器模拟库 from selenium import webdriver f...

2018-10-07 17:35:35

阅读数:49

评论数:0

机器学习保存与导入训练模型

当我们训练好一个模型后,下次如果还想要使用这个模型。那么我们可以将这个模型保存下来,下次使用的时候直接导入就可以了,这样节省了时间,不用每次都重头训练数据,程序运行速度更快。 这里我们使用sklearn提供的模块joblib来保存模型。 from sklearn.linear_model i...

2018-10-07 10:10:46

阅读数:67

评论数:0

机器学习-朴素贝叶斯示例

朴素贝叶斯方法是基于贝叶斯定理的一组有监督学习算法,即简单的假设每对特征之间相互独立。 贝叶斯公式: 下面这个例子就是使用朴素贝叶斯,根据关键词对文章进行分类。 示例: from sklearn.datasets import fetch_20newsgroups from skle...

2018-10-07 09:53:09

阅读数:20

评论数:0

django下使用ajax实现点击与翻页功能

ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换,ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。传统的网页如果需要更新内容,就必须重载整个页面。下面就介绍一下在django框架中怎样使用ajax实现点击事件与内容翻页功...

2018-10-06 17:34:35

阅读数:79

评论数:0

机器学习-决策树示例

参考文档 http://sklearn.apachecn.org/cn/0.19.0/modules/tree.html 决策树是机器学习中的监督学习方法,通过创建一种模型从数据特征中学习简单的决策规则来预测一个目标变量的值。 优点: 便于理解 使用白盒模型 能够处理多路输出的问题 ...

2018-10-06 16:45:31

阅读数:38

评论数:0

机器学习-最近邻示例

参考文档 http://sklearn.apachecn.org/cn/0.19.0/modules/neighbors.html 最近邻属于机器学习中的分类,分类是由每个点的最近邻的简单多数投票中计算得到的。最近邻不会去构造一个泛化的内部模型,而是简单地存储训练数据的实例。 示例: i...

2018-10-06 11:22:16

阅读数:14

评论数:0

机器学习-线性模型示例

参考文档 http://sklearn.apachecn.org/cn/0.19.0/modules/linear_model.html 线性回归模型 例一:根据所给的五条数据训练并预测房子价格 import numpy as np from sklearn.linear_model i...

2018-10-06 11:02:58

阅读数:21

评论数:0

Flask部署

前面的博客已经讲过了Django的部署,那么这一篇讲一下Flask的部署。它们两个的部署大致相同,话不多说,开整。 准备工作 安装nginx、python、Flask、uwsgi nginx 在Ubuntu下使用 apt-get install nginx 安装。 接下来进行配置,cd ...

2018-10-05 15:08:30

阅读数:31

评论数:0

pyecharts快速入门

pyecharts是一个用于生成Echarts图表的Python库。Echarts是一个数据可视化的JS库,使用Echarts生成的图视觉效果非常好。下面介绍一下pyecharts基本图表的简单使用,方便初学者快速入门。 安装 pip install pyecharts 柱状图 #导入...

2018-09-24 17:55:06

阅读数:146

评论数:0

scrapy爬取CSDN论坛问题及内容

爬虫相信大家都有所了解,我对爬虫就不做详细介绍了。本次我决定使用scrapy爬取CSDN论坛发布的问题以及回答的内容。 首先,我们需要创建一个scrapy项目。 scrapy startproject test1 然后进入scrapy项目中,创建一个爬虫。 #进入scrapy项目中 c...

2018-09-23 15:33:09

阅读数:41

评论数:0

Python爬虫浏览器自动化模拟

Selenium是一个用于Web应用程序测试的工具。当我们使用爬虫爬取一些动态网站时,有时候会出现爬取不到东西的情况,这时候我们就可以使用浏览器模拟的方法来进行网页内容的爬取。selenium可以模拟浏览器的点击、输入、验证、打开等操作,就像真实用户所操作的一样。下面我们就介绍一下selenium...

2018-09-22 14:43:26

阅读数:41

评论数:0

pandas快速入门

pandas(Python Data Analysis Library)是基于numpy的一种工具,它的出现是为了解决数据分析方面的问题。如果要使用python做数据分析,那么这个库必不可少。为了让初学者能够快速入门,下面就简单的操作操作pandas。 安装方法与其他python包的安装方法相同...

2018-09-21 20:07:23

阅读数:23

评论数:0

numpy使用

numpy是Python的一种开元的数值计算扩展,它可以用来存储和处理大型矩阵。接下来介绍一下numpy的一些使用操作。 安装 pip install numpy 操作 import numpy as np #创建一个指定行列的数组,默认值是0或者∞或者-∞ np.empty((3,...

2018-09-21 19:46:02

阅读数:23

评论数:0

centos7下结合nginx与uwsgi,部署django项目

前一段时间在阿里云买了一个云服务器,尝试着部署了一下django项目。过程还算顺利,下面介绍介绍具体操作。 安装软件 我们第一步需要安装需要用到的软件,centos使用yum安装软件,在部署时需要用到的软件有MySQL、nginx、Python3.6。 MySQL安装 #下载mysql的...

2018-09-17 21:05:48

阅读数:23

评论数:0

python使用MongoDB

由于在上面的章节中介绍过了MongoDB数据库的操作,在python是操作大致相同,所以就长话短说,简单的讲讲增删改查。 首先,还是需要安装库,老方法:‘pip install mymongo’。 导入库 import pymongo 创建数据库与集合 client = pymon...

2018-09-08 20:56:05

阅读数:56

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭