Python scrapy 安装与开发

Scrapy是采用Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取采集web站点信息并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试等。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。Scrapy i...
阅读(64) 评论(0)

Python requests 安装与开发

Requests 是用Python语言编写HTTP客户端库,跟urllib、urllib2类似,基于 urllib,但比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求,编写爬虫和测试服务器响应数据时经常会用到。Requests 的哲学是以 PEP 20 的习语为中心开发的,所以它比 urllib 更加 Pythoner,更重要的一点是它支持 Python3 Beau...
阅读(55) 评论(0)

Python pyspider 安装与开发

PySpider 简介PySpider是一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写,分布式架构,支持多种数据库后端,强大的WebUI支持脚本编辑器、任务监视器,项目管理器以及结果查看器。PySpider 来源于以前做的一个垂直搜索引擎使用的爬虫后端。我们需要从200个站点(由于站点失效,不是都同时啦,同时有100+在跑吧)采集数据,并要求在5分钟内将对方网站的...
阅读(51) 评论(0)

Shell curl 和 wget 使用代理IP

Linux Shell 提供两个非常实用的命令来爬取网页,它们分别是 curl 和 wget...
阅读(483) 评论(0)

Github Makedown 语法入门

GitHub上创建GitHub项目,会包含了一个 README.md 文件,此文件编辑就会用到Markdown 本文将详细介绍Markdown文件(md文件)的语法。 本文示例开源项目,请见GitHub: https://github.com/mimvp/mimvp-markdown-syntax 1. 新建GitHub项目 文本以米扑科技的项目库为例:mimvp 新建项目链接:https://github.com/organizations/mimvp/repositories/n...
阅读(145) 评论(0)

Python等十多种编程语言使用代理示例

What is mimvp-proxy-demo ?米扑代理示例(mimvp-proxy-demo)聚合了多种编程语言使用代理IP,由北京米扑科技有限公司(mimvp.com)原创分享。米扑代理示例,包含Python、Java、PHP、C#、Go、Perl、Ruby、Shell、NodeJS、PhantomJS、Groovy、Delphi等十多种编程语言或脚本,举证了大量的可运行实例,来讲解使用代...
阅读(372) 评论(0)

黑科技:手机和电脑截屏成图片

黑科技:手机和电脑截屏成图片 有时候,需要把手机或电脑的网页,转化成图片,米扑代理做到了,先分享出来 手机版: iPhone 7 + Screenshot 电脑版: 火狐浏览器的截屏工具 示例原网址,米扑代理: http://proxy.mimvp.com...
阅读(212) 评论(0)

米扑代理:爬虫代理IP哪家好呢

在知乎上,看到一篇写关于代理IP的文章,总结的比较全面。本文对其做了许多补充,并且修正了原文中的一些过时的错误,先分享出来,方便读者在选择代理IP时,仅做参考。 本文所列出的次序是按照在百度中搜索“代理IP”所得出的次序,排名靠前并不能说明质量就靠谱!个人观点,当然这些也大部分是我亲自使用体验过的,比较推荐米扑代理,大家可自由选择。 0. 米扑代理 : http://proxy.mimvp.com...
阅读(422) 评论(0)

米扑科技的开源项目:sitemap-php 自动生成网站地图

sitemap-php 是一个轻量级、简单快速生成网站地图的开源项目,由北京米扑科技有限公司(mimvp.com)开发分享。 通过简单的配置定义,一个函数createSitemap(),可自动生成sitemap.xml、sitemap.html等网站地图文件, 自动生成的xml、html文件,支持Google、Bing、Baidu等主流搜索引擎收录。...
阅读(1055) 评论(2)

Mac 电脑锁屏快捷方法

Mac 电脑锁屏快捷方法,尝试了很多方法,最后找到了设置触发角,进行锁屏。本文介绍三种Mac Book Pro(Touch Bar)锁屏方法,依次是 触发角、Finder 钥匙锁、Automator 快捷键。米扑科技原创出品,转载请注明出处:Mac 电脑锁屏快捷方法锁屏方法1触发角设置步骤如下:触发角,是指屏幕的四个角:左上角、左下角、右上角、右下角,指定上常用的操作,很方便的。1. 打开系统偏好...
阅读(540) 评论(0)

Mac 高效程序猿开发必备软件

一个聪明的开发者会用合理使用工具软件来提高工作效率,MacBook Pro开发必备软件。工具软件选择策略聪明的程序员不仅应该知道借助各种软件来提高工作效率,还应该知道如何选择适合自己的软件。当前各种平台的工具软件更新速度很快,一个富有经验的开发者,应该逐步形成专属于自己的工具选择策略。1. 简明和现代选择那些为单一任务设计的工具,可以避免工作时多余的干扰,让你更加专注。2. 知名度和良好的社区支持...
阅读(945) 评论(0)

Mac OS X 安装 Nginx

brew 安装 Nginx1、brew search nginx12345678910111213141516171819202122232425262728293031$ brew search nginxnginxhomebrew/nginx/accept-language-nginx-module                   homebrew/nginx/mogilefs-nginx...
阅读(1030) 评论(0)

IT,互联网,科技,技术博客网站推荐

科技博客很多,但质量高的不多,发现质量高的,但又记不住,所以索性把它们都记下来。下面总结的博客主要偏向互联网,科技资讯,技术博客 国内科技博客极客公园PingWest爱范儿36Kr月光博客虎嗅网雷锋网钛媒体TechWeb互联网的那些事数字尾巴Engadget 中国cnBetaTech2ipo 创见TechCrunch 中国Donews科技娲母网易科技新浪科技腾讯科技搜狐IT 国外的科技博客汇总Th...
阅读(807) 评论(0)

米扑科技:草根连续创业的前赴后继者

今天又有一位草根创业者注册了公司,成为了千千万万草根创业中的前赴后继者。同时,他也是一位连续创业者,先后在百度、创新工场、小米科技、优酷和阿里巴巴工作或创业,积累沉淀四年后,2016年成立了自己的公司——米扑科技,他的名字叫杨刚。...
阅读(809) 评论(5)

2016年终总结:米扑蛋生

2016年,工作的第五个年头,创业的第三个年头,一路走来,坚持执着,米扑蛋生啦!年年计划,岁岁总结,距离2013年第一次用文字记录下年终总结,已经过去三年。今天回望那篇博客《2013年终学习总结》,仍然希望满满,催人奋进,更懂感恩。...
阅读(25566) 评论(11)

CentOS 配置swap交换区的方法

CentOS 作为linux世界里最稳定的服务器版本,rhas5一直有很大的应用面,之前一直关注的是freebsd,因为应用的需要,特别在配合mysql和oracle上red hat有着太多优势。米扑科技,作为一家快速发展的创业企业,购买了许多阿里云和亚马逊云,因此会配置swap交换区,具体方法如下。用CentOS来代替red hat as的使用,因为CentOS5是利用rhas5的源码,去掉re...
阅读(8858) 评论(0)

支付宝即时到帐付款/退款流程

随着互联网和移动互联网发展,越来越多的企业和个人开发者在自己的网站接入支付接口,但是网上从接口级详细介绍的很少,完整成功的案例代码几乎没有。本文经过对米扑代理接入支付宝接口的实战,成功解决了付款/退款的基本逻辑,并且还解决了自动发货/退货等支付逻辑。注:本文整理来自米扑博客先看成功接入支付宝接口付款/退款,自动发货/退货的网站实例:米扑代理: http://proxy.mimvp.com/pric...
阅读(9955) 评论(1)

支付宝、财付通、网银、百度钱包、京东钱包接口费率

米扑代理在集成支付功能时,遇到了付款方式接口选择的问题,于是对支付宝,财付通,PayPal,网银在线,快钱有了具体的认识,并分享出来。 支付渠道费用(2016)渠道名称接入费交易手续费申请时间资金到帐时间Apple Pay免费实物类:0.7%每笔 3C/数码/数娱:1.2%每笔7-15工作日T+1拉卡拉免费实物类:0.6%每笔 虚拟类:2%每笔1-3工作日T+1微信300元/年实物类:0.6%每笔...
阅读(3950) 评论(4)

解决陌生域名绑定自己网站的方案

今天用手机浏览我的米扑科技网站: mimvp.com  意外发现居然有好几个陌生域名,绑定了我的米扑科技官网一开始我没太在意,还认为是好事,人家域名绑定指向我的网站,这给我的网站带来流量,简直是天上掉馅饼的好事儿!但细思极恐,假如久而久之,突然有一天,我的官方域名 mimvp.com 访问度下降,而陌生域名的访问量上升,最后大家都直接输入陌生域名进入我的网站,反而以为我的官方域名 mimvp.co...
阅读(3877) 评论(3)

阿里云CentOS7 搭建 VPN

今天,购买的GreenVPN两年会员(¥258)到期了,突然连不上VPN,收不了Gmail邮件,天空暗了。今天,米扑科技已拥有阿里云北京/杭州/深圳/香港/美国硅谷,美国AWS等十余台云服务器,有能力搭建属于自己的VPN服务器,不必再买VPN服务,详细步骤如下文。 一.  目标思路1. 用阿里云ECS美国服务器, 在CentOS 7系统上,架设VPN服务2. 用PC/iPhone6+ 连接使用VP...
阅读(5121) 评论(1)
883条 共45页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:11349000次
    • 积分:86909
    • 等级:
    • 排名:第15名
    • 原创:698篇
    • 转载:169篇
    • 译文:16篇
    • 评论:3028条
    学习经历
    中科院、百度、创新工场、小米、阿里巴巴、米扑科技

    期货从业资格证(2017.03)
    基金从业资格证(2016.11)
    证券投资顾问证(2016.9)
    证券从业资格证(2016.6)
    系统架构设计师(2013)
    软件设计师(2008)
    CSDN创业专访

    程序员创业邦
    QQ群: 239292073
    青春,每一个有梦想的人

    资深产品经理人
    QQ群: 338142405
    思与行,人人都是产品经理

    爱脚本,爱技术
    QQ群: 320296250
    (已满)
    python、ruby、php、go、shell

    程序人生的平凡生活
    QQ群: 282297696
    (已满)
    汇聚百度、小米、微软、腾讯、
    创新工场、阿里巴巴、日本雅虎
    个人博客
    博客专栏
    博客公告
    本博客内容,由本人精心整理
    欢迎交流,欢迎转载,大家转载注明出处,禁止用于商业目的。

    文章分类