python爬虫的代理IP设置

关于python代理IP的设置,我这里用requests这个模块来实现, IP = {'https': '86.98.2.163:8080'} r = requests.get(url, proxies=IP, headers=headres,timeout=40) 上面这段代码使用了代理...

2018-02-02 22:46:52

阅读数:511

评论数:0

爬虫爬取电商网站的商品数据并保存成json文件

这里爬取的电商网站为当当网的地方特产为例 首先建立爬虫项目 scrapy startproject autop然后就要编写items文件了 # -*- coding: utf-8 -*- # Define here the models for your scraped items # # ...

2017-11-30 23:49:28

阅读数:124

评论数:0

用pycharm安装scrapy框架

今天安装scrapy框架,在cmd里用pip install 安装,老是报错,报缺少支持的第三方包还有C++ 14.什么的错, 后来直接用pycharm安装,就成功了,安装的方法如下 在右上角有一个绿色的加号点击它 会弹出这个界面,把需要安装的包的名字输进去会自动检索,然后选...

2017-11-16 22:36:01

阅读数:3335

评论数:0

Python的定向爬取实例

定向爬取就是根据设置的主题进行内容的筛选,这里用一个例程简单记录 假如要对腾讯视频的某部电视剧的评论内容进行爬取,首先腾讯视频的评论是在当前页面进行加载,不会显示下一页,所以就需要用Fiddler进行抓包,找到请求新评论的网址。 首先点击加载更多 同时查看Fiddler里会有一个请求评论的网址...

2017-11-15 03:15:38

阅读数:145

评论数:0

python爬虫浏览器伪装

一些网站会设置一些反爬策略来限制爬取数据,所以就需要让爬虫伪装成浏览器取爬取数据 常见的反爬机制主要有,分析用户请求的Headrest信息反爬、检测用户行为比如同一IP频繁访问网站、页面的动态加载反爬, 第一种比较常见,本章也主要记述这一种反爬的应对方法,就是User-Agent字段进行检测,当然...

2017-11-11 17:38:02

阅读数:84

评论数:0

python爬虫之正则表达式基础

正则表达式 python爬虫离不开正则表达式,如果说爬虫是在数据海洋收集数据的大船,那么正则就是给这艘船指明了到哪里采集数据和采集什么养的数据,筛选和过滤掉我们不想要的数据以节省爬虫的资源提高爬取效率 字符匹配有普通字符和元字符 首先要导入re模块‘ 普通字符匹配::re.findall(...

2017-11-09 10:50:16

阅读数:54

评论数:0

python爬虫基础知识整理

本文主要记录python爬虫的基础知识点,主要知识:理论基础、爬虫技能简述、实现原理和技术、uillib库和urlerror、正则、headers属性和代理服务器设置及Cookie。 1)理论基础部分 网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等,可以按照我们设置的规则自动化爬取网络上的信息,这些...

2017-11-03 10:24:52

阅读数:211

评论数:0

Python爬虫的post请求简单实例

登陆网页注册时用Python进行post请求,代码 首先查看页面源代码,注意form表单部分,哪里是需要递交的表单信息 运行代码 import urllib.request import urllib.parse url='http://www.iqianyue.com/mypost' pos...

2017-09-30 21:22:23

阅读数:667

评论数:0

安装Python模块numpy报错[error] Microsoft Visual C++ 14.0 is required

Python初学,现在使用Python3.6 今天在安装numpy时出现报错 Microsoft Visual C++ 14.0 is required,查了很多解决方法,都没有完全成功,好像和vs编辑器有关,需要下载vs2008或者2010等等不知道那个版本的编辑器,但是这些编辑器微软早就停...

2017-08-10 23:56:50

阅读数:4267

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭