初学者用python写爬虫就这么简单

原创 2018年04月17日 20:39:33


很多人害怕python复杂,还没入门就被吓倒了,今天我就要证明个大家看,python很简单。(高手们就别提底层了,留点入门的信心我们吧,我们就写个爬虫玩玩,玩玩而已。)使用python写一个入门级的非常简单的爬虫。


#第一种方法

import urllib2  #将urllib2库引用进来
response=urllib2.urlopen("http://www.xiaofamao.com") #调用库中的方法,将请求回应封装到response对象中
html=response.read() #调用response对象的read()方法,将回应字符串赋给hhtml变量
print html  #打印出来

#第二中方法

import  urllib2
req=urllib2.Request("http://www.xiaofamao.com")
response=urllib2.urlopen(req)
html = response.read()
print  html

一般情况下,上面的爬虫,如果大量爬行,会被限制访问,所以要伪装成浏览器进行访问   
这里用伪装成IE9.0进行访问


#要求请的url地址

import urllib2
url="http://www.xiaofamao.com"
#要伪装的浏览器user_agent头
user_agent="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36;"
#创建字典,使请求的headers中的’User-Agent‘:对应user_agent字符串
headers={'User-Agent':user_agent}
#新建一个请求,将请求中的headers变换成自己定义的
req =urllib2.Request(url,headers=headers)
#请求服务器,得到回应
response=urllib2.urlopen(req)
#得到回应内容
the_page=response.read()
#打印结果
print  the_page

用python写一个简单的爬虫功能

iOS开发如果之前没接触过除了c和c++(c++太难了,不花个十来年基本不可能精通)的语言,第二门语言最好的选择就是python.原因就是1.语法简单2.库太多,随便想要什么功能的库都找得到,简直编程...
  • jinglijun
  • jinglijun
  • 2016-02-20 14:50:47
  • 24790

python爬虫教程

  • 2018年03月25日 07:31
  • 64B
  • 下载

python写简单爬虫的五种方法

获取html的方法【一】:使用urllib # -*- coding: UTF-8 -*- import urllib   ' 获取web页面内容并返回' def getWebPag...
  • feibuhui123
  • feibuhui123
  • 2012-11-21 15:33:22
  • 893

Python写一个简单的爬虫样例(不超过50行代码)

###写在题外的话 爬虫,我还是大三的时候,第一次听说,当时我的学姐给我找的一个勤工俭学的项目,要求是在微博上爬出感兴趣的信息,结果很遗憾,第一次邂逅只是擦肩而过。然后,时间来到4年后的研二,在做信息...
  • wsbxzz1
  • wsbxzz1
  • 2017-06-10 10:55:59
  • 14467

Python3写简单爬虫

最近开始研究python爬虫的抓取技术,发现网上很少能找到比较入门的简单Python3爬虫,正好自己在学,根据学习心得写了个爬取百度贴吧图片并保存在本地的简单小爬虫记录一下学习进度。import re...
  • xiaodongxiexie
  • xiaodongxiexie
  • 2016-05-16 22:22:37
  • 4605

Python爬虫——自制简单的搜索引擎

自制简单的搜索引擎
  • jclian91
  • jclian91
  • 2017-08-18 21:32:29
  • 868

linux下用python写简单的爬虫程序

linux下用python写简单的爬虫程序简述下这个爬虫程序的基本原理: HTTP请求 通过起始url获得页面内容 正则表达式 通过正则表达式获取想要的信息 获取到本地 http请求geturl....
  • blog_liuliang
  • blog_liuliang
  • 2016-05-26 16:47:24
  • 522

python制作一个简单网络爬虫

我们现在用python标准库urllib2来实现简单的网络爬虫(本章很简单适合小白,不喜勿喷) 一、urllib2定义了以下方法: urllib2.urlopen( URL, Data, ...
  • sinat_38682860
  • sinat_38682860
  • 2017-05-30 21:20:39
  • 400

Python实现一个简单的图片爬虫

前言提起爬虫,很多人都会感觉很神秘,包括以前的我也是一样的,只要是和爬虫的相关的知识我都感觉很高端,后来渐渐的接触的多了,也就慢慢地明白的了究竟什么是爬虫,说说我理解的吧,爬虫本身... ......
  • shihengzhen101
  • shihengzhen101
  • 2017-12-23 23:10:02
  • 167

Python初学者好玩案例(一):最短的抓取网页图片代码,只有10行

这几天闲来无事,又研究了一下Python的基础内容,首先研究的是如何抓取网页数据。 发现大神们通常在初级教程里就要写很多代码,真让我们这些初学者无所适从。 加上Python的各种版...
  • qq_18495537
  • qq_18495537
  • 2018-01-09 15:52:35
  • 150
收藏助手
不良信息举报
您举报文章:初学者用python写爬虫就这么简单
举报原因:
原因补充:

(最多只允许输入30个字)