- 博客(19)
- 收藏
- 关注
RSS订阅转载 python使用pycurl模块详解
#!/usr/bin/env python2#encoding=utf8import pycurlimport StringIO# 安装pycurl到http://pycurl.sourceforge.net/这里去找.# 在windows安装的话http://pycurl.sourceforge.net/download/ , 看你使用的版本决定下载那个，
2017-12-22 11:23:28
2388
翻译 在macOS上安装Anaconda
macOS图形安装下载适用于您的Python版本的图形macOS安装程序。可选：使用MD5或SHA-256验证数据完整性。有关散列的更多信息，请参阅有关加密散列验证的内容。。双击下载的文件。回答简介，自述和许可证屏幕上的提示。在目的地选择屏幕上，选择仅适用于我的安装。注：如果您收到错误消息“您不能在此位置安装Anaconda”
2017-12-22 11:21:38
18076
转载 Scrapy: 如何设置代理
下面记录下如何在Scrapy设置代理。在Scrapy工程下新建"middlewares.py"，和settings.py同级#!usr/bin/env # -*-coding:utf-8 -*-class ProxyMiddleware(object): # overwrite process request def process_request(self, req
2017-12-22 11:20:13
582
转载 MySQL 删除重复数据
昨天遇到一个问题，就是需要删掉一个表里的重复数据，还有就是希望这个表的ID能够连续，因为一旦删掉重复记录，作为自增主键的ID就会不连续了，所以就要想办法搞定表中数据：我想要把名字重复的去掉，但是还希望ID能够连续。首先是将数据库里边的重复记录删掉，我看网上有好多答案是这样的：1 delete from people 2 where peopleId in
2017-12-22 11:18:06
215
转载 python爬虫scrapy之如何同时执行多个scrapy爬行任务
背景： 刚开始学习scrapy爬虫框架的时候，就在想如果我在服务器上执行一个爬虫任务的话，还说的过去。但是我不能每个爬虫任务就新建一个项目吧。例如我建立了一个知乎的爬行任务，但是我在这个爬行任务中，写了多个spider，重要的是我想让他们同时运行，怎么办？小白解决办法： 1、在spiders同目录下新建一个run.py文件，内容如下（列表里面最后可以加上参数，如--no
2017-12-22 11:17:09
7365
1
转载 Scrapy框架利用CrawlSpider创建自动爬虫
一、适用条件 可以对有规律或者无规律的网站进行自动爬取 二、代码讲解 (1)创健scrapy项目[python] view plain copyE:myweb>scrapy startproject mycwpjt New Scrapy project 'mycwpjt', using temp
2017-12-22 11:16:25
1048
转载 Python BeautifulSoup4 搜索部分
BeautifulSoup bs4主要使用find()方法和find_all()方法来搜索文档。 find()用来搜索单一数据，find_all()用来搜索多个数据find_all()与find()name –> tag名 string –> 内容 recursive –>是否搜索所有子孙节点 默认为true 设为false只搜索子节点两方法用法相似这里以f
2017-12-22 11:15:04
542
转载 fiddler filter 过滤css 图片等
找到 request header-》Show only if yrl contains： 1REGEX:(?insx)/[^\?/]*\.(css|ico|jpg|png|gif|bmp|wav)(\?.*)?$ 1REGEX:(?insx
2017-12-22 11:13:39
6386
转载 如何在Windows系统中设置Python程序定时运行
首先，我们肯定是要用到Windows下的【计划任务】功能（注：楼主的系统是Windows8.1，但是Windows7或Windows10情况应该差不多），如下图所示：之后点击右侧的【创建基本任务】，输入任务名称以及可选的任务描述：点击下一步，设置任务的开始时间，这个应该没什么难度，我这里设置为每天早上10点运行此计划任务：
2017-12-22 11:11:16
899
原创 matplotlib的简单应用
1.折线图 from matplotlib import pylab x = [1,2,3,4,8] y = [5,7,2,1,5] pylab.plot(x,y,'m')#plot（X轴数据，Y轴数据，展现方式：颜色/线条样式） pylab.show() （1）线条样式 —普通直线 –虚线 -. -.形式 ：细小虚线
2017-09-28 08:34:40
222
原创 pandas的简单应用与数据导入
创建一列数据import pandas a = pandas.Series([8,9,3,1]) print(a) ''' 输出： （下表默认的都是从0开始，在Series（）里可以用index=[]指定下标，下标名必须和列表里数字的个数一样。） 下标 数据 0 8 1 9 2 3 3 1
2017-09-27 20:28:19
1843
原创 numpy的简单应用
数组 array 创建一维数组格式 array([元素1,元素2,元素3,…,元素n]) 例如： import numpy x = numpy.array([1,2,5,7,9]) print(x)#输出[1 2 5 7 9] 一维数组取值 print(x[1])#输出2，第二个数，和list的取值方式一样 创建二维数组格
2017-09-27 19:25:27
336
转载 如何利用客户端缓存对网站进行优化? If-Modified-Since & If-None-Match
介绍 你的网站在并发访问很大并且无法承受压力的情况下,你会选择如何优化? 很多人首先会想从服务器缓存方面着手对程序进行优化,许多不同的服务器缓存方式都有他们自己的特点,像我曾经参与的一些项目中,根据缓存的命中率不同使用过 Com+/Enterprise Libiary Caching/Windows服务,静态文件等方式的服务器端缓存和 HTTP Compre
2017-09-26 09:33:44
187
转载 Python在大数据分析及机器学习中的兵器谱
1.网页爬虫工具集Scrapy推荐大牛pluskid早年的一篇文章：《Scrapy 轻松定制网络爬虫》Beautiful Soup客观的说，Beautifu Soup不完全是一套爬虫工具，需要配合urllib使用，而是一套HTML/XML数据分析，清洗和获取工具。Python-GooseGoose最早是用Java写得，后来用Scala
2017-09-25 14:40:10
378
转载 Matplotlib 教程
Matplotlib 的默认配置都允许用户自定义。你可以调整大多数的默认配置：图片大小和分辨率（dpi）、线宽、颜色、风格、坐标轴、坐标轴以及网格的属性、文字与字体属性等。不过，matplotlib 的默认配置在大多数情况下已经做得足够好，你可能只在很少的情况下才会想更改这些默认配置。123456789from pylab import *X
2017-09-25 14:24:41
290
转载 Matplotlib 入门教程
第一章 Matplotlib 简介欢迎阅读 Python 3+ Matplotlib 系列教程。 在本系列中，我们将涉及 Matplotlib 数据可视化模块的多个方面。 Matplotlib 能够创建多数类型的图表，如条形图，散点图，条形图，饼图，堆叠图，3D 图和地图图表。首先，为了实际使用 Matplotlib，我们需要安装它。如果你安装了更高版本的 Python，你
2017-09-25 14:22:14
1232
转载 python numpy教程
基础篇NumPy的主要对象是同种元素的多维数组。这是一个所有的元素都是一种类型、通过一个正整数元组索引的元素表格(通常是元素是数字)。在NumPy中维度(dimensions)叫做轴(axes)，轴的个数叫做秩(rank)。例如，在3D空间一个点的坐标[1, 2, 3]是一个秩为1的数组，因为它只有一个轴。那个轴长度为3.又例如，在以下例子中，数组的秩为2(它有两个维度).第一个维
2017-09-25 10:47:55
322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人