Python
只想安静的一个人
这个作者很懒,什么都没留下…
展开
-
Apache+Django+wsgi环境搭建(ubuntu)
一.安装Apache2和mod_wsgi sudo apt-get install apache2(版本为2.4) apachectl -v 检查版本号 sudo apt-get install libapache2-mod-wsgi-py3 二.创建一个可用网站 gedit /etc/apache2/sites-available/sitename.conf 模板如下 ...原创 2018-07-10 10:45:16 · 589 阅读 · 0 评论 -
Matplotlib常用API
导入库 improt matplotlib.pyplot as plt 方法 用法 plt.title()(图的标题) plt.title(“Matplotlib demo”) plt.xlabel()(X轴描述) plt.xlabel(“x axis caption”) plt.ylabel()(Y轴描述) plt.ylabel(“y axis caption”) ...原创 2018-12-19 11:20:47 · 973 阅读 · 0 评论 -
Numpy常用API------常用函数
数学函数 方法 实例 np.sin()np.cos()np.tan() a = np.array([0,30,45,60,90])np.sin(a)np.arcsin(a) np.around(arr, decimals)a 数组decimals 舍入小数位数默认为0 负数时四舍五入到小数点左侧的位置 a = np.array([1.0, 5.55, 123, 0.567, 2...原创 2018-12-18 14:44:32 · 589 阅读 · 0 评论 -
Numpy常用API------数组
数组属性 属性 说明 ndarray.ndim 秩,即轴的数量或维度的数量 ndarray.shape 数组的维度,对于矩阵,n 行 m 列 ndarray.size 数组元素的总个数,相当于 .shape 中 n*m 的值 ndarray.dtype ndarray 对象的元素类型 ndarray.itemsize ndarray 对象中每个元素的大小,以字节为单...原创 2018-12-18 11:30:56 · 422 阅读 · 0 评论 -
Neo4j+pythonxi相关操作
库引入 from py2neo import Graph, Node, Relationship, NodeSelector 绑定数据库 # ip_host 为数据库地址,passwrd为neo4j密码 graph = Graph(ip_host, password=NEO4J_PWD) 创建节点 # Label为节点标签,properties 为标签属性 node = Node...原创 2018-07-13 16:22:18 · 321 阅读 · 0 评论 -
正则表达式学习
正则表达式库 import re 常用符号 . : 匹配任意字符(一个‘.’ 代表一个占位符,单独使用不包括换行符‘\n’) * : 匹配前一个字符0次或无限次 ? : 匹配前一个字符0次或一次 .* :贪心算法 .*?:非贪心算法 () : 括号里面的值作为返回结果 常用方法 findall():匹配所有符合规律的内容,返回包含结果的列表 search():...原创 2018-06-13 11:00:08 · 97 阅读 · 0 评论 -
Xpath知识讲解
Xpath的使用 导入依赖库 from lxml import etree selector = etree.HTML(html) (html为目标网站文本) // 定位根节点 / 往下层寻找 提取文本内容:/text() 提取属性内容:/@xxxx 提取文本 eg:content = selecort.xpath('//ul[@id="useful"/li/t...原创 2018-06-13 11:03:09 · 256 阅读 · 0 评论 -
爬虫并行化
map使用 map函数包含了序列操作,参数传递和结果保存的的一系列操作 导入 from multiprocessing.dummy import Pool pool = Pool(4) #表示4线程 results = pool.map(爬取函数,网址列表) 附上简单并行爬虫的例子 __author__ = 'ding' ''' 多线程使用 ''' from multipr...原创 2018-06-13 11:04:00 · 1151 阅读 · 0 评论 -
scrapy分布式爬虫部署-- 爬取知乎用户为例
环境简介: Ubuntu 环境下 使用MongoDB将数据保存到本地,利用redis-server实现分布式部署 使用scrapy框架爬去知乎用户的信息。 安装MongoDB sudo apt-get install mongodb 2.安装redis sudo apt-get install redis-server 3.安装scarpy sudo apt-get inst...原创 2018-06-13 11:04:33 · 800 阅读 · 1 评论 -
Scrapy命令行操作
创建Scarpy项目create scrapy startproject myproject [project_dir] 生成爬虫 genspider scrapy genspider 爬虫名字 目标链接 显示可用模板 scarpy genspider -l 模板包括:basic crawl scvfeed xmlfeed 爬虫模板的使用 scrapy genspider -t c...原创 2018-06-13 11:05:06 · 171 阅读 · 0 评论 -
Scrapy基本操作流程
一、创建项目 scrapy startproject myfirstpro (myfirstpro为爬虫项目的名称可以中自行命名) 命令行切换到scrapy工程目录 scrapy genspider ‘name’ ‘http://url’ 创建spider文件 文件详解 爬虫配置文件 settings.py BOT_NAME 命名爬虫的名称 执行爬虫的时候使用此名字 ...原创 2018-06-13 10:59:11 · 1245 阅读 · 0 评论 -
Pandas常用API
系列(Series) pandas.Series( data, index, dtype, copy) # data 数据采取各种形式 # index 索引值必须是唯一的和散列的,与数据的长度相同 # dtype dtype用于数据类型。如果没有,将推断数据类型 # copy 复制数据,默认为false # eg1: 从ndarray创建一个系列 data = np.array(['a','...原创 2018-12-19 11:46:43 · 1226 阅读 · 0 评论