python爬虫实战——爬取股票个股信息

爬虫爬取网页信息的思路：发送网页端请求—>获取响应内容—>解析内容—> 获取想要的数据—>保存数据

这次我们要实现的是爬取静态网页的股票数据，首先是获取沪深A股的所有股票代码，再用这些股票代码获取相应股票的信息

东方财富网有所有个股的股票代码（沪深A股所有股票）

查看其网页源代码

在网页源代码中可以搜索到相应的元素，判断其是数据是静态的

接下来是获取每只个股的信息，由于周六日没开市，东方财富网的个股信息没有显示

这里改用百度股市通(个股)

同样地检查元素可以发现个股的信息也是静态的
准备工作：通过pip导入beautifulsoup4模块
查看python目录下的文件 scripts/easy_install 存不存在
如果存在执行 easy_install.exe pip
安装成功后执行 pip install beautifulsoup4
首先获取所有股票的列表
一、获取东方财富网股票列表的网页源代码:

#--coding:utf-8 --

from urllib import request

对于python 3来说,urllib是一个非常重要的一个模块 ，可以非常方便的模拟浏览器访问互联网,对于python 3 爬虫来说, urllib更是一个必不可少的模块,它可以帮助我们方便地处理URL.
urllib.request是urllib的一个子模块,可以打开和处理一些复杂的网址

from bs4 import BeautifulSoup

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:Tag、NavigableString、BeautifulSoup、Comment|**

模拟浏览器爬取信息

在访问某些网