困而学之，学思并重

在python中打开网页import webbrowser as webweb.open_new_tab('http://www.baidu.com')获取网页状态码#coding:utf-8import urlliburl = 'http://www.baidu.com'html = urllib.urlopen(url)print html.getcode()输出：200HTTP状态码

主要面临三个问题： * 如何打开浏览器 * 如何刷“阅读次数” * 如何关闭浏览器import webbrowser as webimport time import osimport randomcount = random.randint(20,40)#随机产生一个20 到40 之间的随机数j = 0while j < count: i = 0 while i

获取整个页面数据#coding=utf-8import urllibdef getHtml(url): page = urllib.urlopen(url) html = page.read() return htmlhtml = getHtml("http://tieba.baidu.com/p/2738151262")print htmlurllib 模块提供了读取w

什么是异步加载？ 向网站进行一次请求，一次只传部分数据。如：有些网页不需要点击下一页，其内容也可以源源不断地加载。如何发现异步加载？ 1、打开浏览器，右键选择“检查” 2、点击“Network”、“XHR” 这样在网页进行不断下拉的过程中，显示器会记录全部动作。可以看到不断加载新的页。如何加载异步数据？ 具体例子：from bs4 import BeautifulSoupimpor

韩寒新浪博客：http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html 提醒：韩寒的新浪博客文章共有316篇，共7页。爬取第一页的前十篇文章，并下载到本机#coding:utf-8import urllibimport timeurl = ['']*10 con = urllib.urlopen('http://blog.si

爬取地址：http://bj.xiaozhu.com/ 包含信息：多页；每页24个链接 爬取要求：爬取每个链接的标题、地址、价格、图片链接、主人名称、主人性别from bs4 import BeautifulSoupimport requestsdef get_info(page_number): urls = get_page_link(page_number) for ur

Py2.x：Urllib库Urllin2库Py3.x：Urllib库变化：在Pytho2.x中使用import urllib2——-对应的，在Python3.x中会使用import urllib.request，urllib.error。在Pytho2.x中使用import urllib——-对应的，在Python3.x中会使用import urllib.request，urllib.