关注
分享
爬虫使用代理 IP 的各种代码样例
K哥爬虫
分享有深度、有细节的爬虫技术~
展开
-
Node——request使用代理
本文知识点Node环境搭建使用代理进阶学习环境配置Node安装request安装requestnpm install request确认环境安装无误node -v代码样例使用代理let request = require('request'); // 引入第三方request库let util = require('util');let zlib = r...原创 2020-02-14 11:27:57 · 2896 阅读 · 2 评论 -
Nodejs——标准库（http+url）使用代理
本文知识点Node环境配置Node使用代理Node进阶学习环境配置Node确认环境安装无误node -v代码样例使用代理const http = require("http"); // 引入内置http模块const url = require("url");// 要访问的目标页面const targetUrl = "http://dev.kdlapi...原创 2020-02-14 10:25:01 · 913 阅读 · 0 评论 -
PHP——curl使用代理
环境搭建PHPcurl安装curl库# ubuntu/debian系统apt-get install php5-curl # centos系统yum install php-curl确认环境。php -v代码样例使用代理<?php//要访问的目标页面$page_url = "http://dev.kdlapi.com/testproxy";//代理服...原创 2020-02-13 23:16:07 · 4497 阅读 · 3 评论 -
Go——标准库使用代理
环境配置Go的安装确认环境都安装好了，看看go的版本。go version代码样例使用代理，发送GET请求package mainimport ( "compress/gzip" "fmt" "io" "io/ioutil" "net/http" "net/url" "os")func main() { ...原创 2020-02-13 18:21:36 · 274 阅读 · 0 评论 -
Ruby——httparty使用代理
环境配置:Ruby代码样例使用代理require "httparty" # 引入httparty模块require 'zlib'require 'stringio'# 代理服务器ip和端口proxy_ip = '47.115.5.19'proxy_port = 16816# 要访问的目标网页, 以京东首页为例page_url = 'https://dev.kuaid...原创 2020-02-13 17:55:36 · 535 阅读 · 0 评论 -
Ruby——net/http使用代理
环境配置:ruby环境搭建好之后，直接引入内置模块使用即可。大家可以借鉴我的代码，只需要把其中的代理信息以及要访问的URL改成自己的就可以了。# -*- coding: utf-8 -*-require 'net/http' # 引入内置net/http模块require 'zlib'require 'stringio'# 代理服务器ip 和 端口proxy_ip = ...原创 2020-02-13 17:08:21 · 827 阅读 · 0 评论 -
python爬虫——scrapy的使用
本文中的知识点：安装scrapy由于小哥的系统是win7，所以以下的演示是基于windows系统。linux系统的话，其实命令都一样的，没啥差，windows与linux都可以用。pip install scrapy安装好后，先看下scrapy是否安装上了，确认下，我的是Scrapy 1.8.0scrapy version好了，安装很简单。用scrapy创建个新项目吧。命令行...原创 2020-01-16 17:46:38 · 8660 阅读 · 0 评论 -
python爬虫——urllib使用代理
收到粉丝私信说urllib库的教程还没写，好吧，urllib是python自带的库，没requests用着方便。本来嘛，python之禅（import this自己看）就说过，精简，效率，方便也是大家的追求。不过大家有要求，那就写一篇关于urllib的基础教程。本文中的知识点：安装urllib是python自带的，不用安装，直接import进来即可代码样例注意这里需要先定义opener...原创 2020-01-15 18:20:45 · 11417 阅读 · 2 评论 -
python爬虫——selenium+firefox使用代理
本文中的知识点：搭建开发环境：selenium库firefox geckodriver火狐浏览器PS：安装了的同学可以跳过了接着下一步，没安装的同学跟着我的步骤走一遍安装selenium库pip install selenium安装firefox geckodriver这里要注意要配置系统环境，把firefox geckodriver放到python路径的Scripts目录...原创 2020-01-15 13:57:29 · 11017 阅读 · 2 评论 -
python爬虫——selenium+chrome使用代理
先看下本文中的知识点：selenium库chrome webdirver的下载安装selenium+chrome使用代理搭建开发环境：selenium库chrome webdirver谷歌浏览器 >=7.9PS：安装了的同学可以跳过了接着下一步，没安装的同学跟着我的步骤走一遍安装selenium库pip install selenium安装chrome web...原创 2020-01-15 11:10:10 · 10003 阅读 · 2 评论 -
python爬虫——requests库使用代理
需要大家会些基础的知识：pythonhtml基础首先，让我们看看这篇文章中有哪些知识点让我们先安装上requests库，pip install requests先来看下文档，看看requests的介绍，用python自带的help命令import requestshelp(requests)output：Help on package requests:NAME ...原创 2020-01-14 11:27:40 · 25985 阅读 · 18 评论