- 博客(6)
- 收藏
- 关注
RSS订阅原创 爬虫爬取电商网站的商品数据并保存成json文件
这里爬取的电商网站为当当网的地方特产为例首先建立爬虫项目scrapy startproject autop然后就要编写items文件了# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# http://doc.scrapy.org/en/la
2017-11-30 23:49:28
5143
原创 用pycharm安装scrapy框架
今天安装scrapy框架，在cmd里用pip install 安装，老是报错，报缺少支持的第三方包还有C++ 14.什么的错，后来直接用pycharm安装，就成功了，安装的方法如下在右上角有一个绿色的加号点击它会弹出这个界面，把需要安装的包的名字输进去会自动检索，然后选定，再点击install Package，就会安装安装
2017-11-16 22:36:01
36002
原创 Python的定向爬取实例
定向爬取就是根据设置的主题进行内容的筛选，这里用一个例程简单记录假如要对腾讯视频的某部电视剧的评论内容进行爬取，首先腾讯视频的评论是在当前页面进行加载，不会显示下一页，所以就需要用Fiddler进行抓包，找到请求新评论的网址。首先点击加载更多同时查看Fiddler里会有一个请求评论的网址多点击几次，拿到两个这样的网址，然后分析这两个网址的相同与不同之处
2017-11-15 03:15:38
1224
原创 python爬虫浏览器伪装
一些网站会设置一些反爬策略来限制爬取数据，所以就需要让爬虫伪装成浏览器取爬取数据常见的反爬机制主要有，分析用户请求的Headrest信息反爬、检测用户行为比如同一IP频繁访问网站、页面的动态加载反爬，第一种比较常见，本章也主要记述这一种反爬的应对方法，就是User-Agent字段进行检测，当然除了这个字段还会检测其他字段，我们就通过程序伪装一个headers信息第二种用代理服务器也可以
2017-11-11 17:38:02
5485
原创 python爬虫之正则表达式基础
正则表达式python爬虫离不开正则表达式，如果说爬虫是在数据海洋收集数据的大船，那么正则就是给这艘船指明了到哪里采集数据和采集什么养的数据，筛选和过滤掉我们不想要的数据以节省爬虫的资源提高爬取效率字符匹配有普通字符和元字符首先要导入re模块‘普通字符匹配：：re.findall('kehao','cheniahfhkehaojkshs') #使用findall方法
2017-11-09 10:50:16
502
原创 python爬虫基础知识整理
本文主要记录python爬虫的基础知识点，主要知识：理论基础、爬虫技能简述、实现原理和技术、uillib库和urlerror、正则、headers属性和代理服务器设置及Cookie。1）理论基础部分网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以按照我们设置的规则自动化爬取网络上的信息，这些规则被称为爬虫算法。2）爬虫的组成有控制节点、爬虫节点和资源库个人简单理解就是控制节点相当
2017-11-03 10:24:52
11294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人