网络爬虫
阳光下的Smiles
生命在于运动,知识在于积累。
展开
-
Windows下安装Anaconda和python
Windows下安装Anaconda和python anaconda可以看做Python的一个集成安装,安装它后就默认安装了python、IPython、集成开发环境Spyder和众多的包和模块。非常方便。 1、下载 这里选择安装3.6版的python。下载安装包为:Anaconda3-4.3.1-Windows-x86.exe 2、安装 (1)直接双击即可安装,这里原创 2017-03-24 21:59:11 · 1182 阅读 · 0 评论 -
网络爬虫学习(一)
网络爬虫学习(一) 1、非结构化数据 没有固定的数据格式,如网页资料。必须透过ETL(Extract,Transormation,Loading)工具将数据转化为结构化数据才能取用。 (1)数据抽取、转换、存储(Data ETL) (2)网络爬虫架构 2、使用开发人员工具 在网页上点击右键--->检测 以新浪网站为例: 刷新后的页面如下图所示 通过原创 2017-03-24 22:07:16 · 421 阅读 · 0 评论 -
网络爬虫学习(二)
网络爬虫学习(二) 1、BeautifulSoup 基础操作 上次代码为: from bs4 import BeautifulSoup html_sample=' \ \ \ Hello World \ This is link1 \ This is link2 \ \ ' soup=BeautifulSoup(html_sample,'html.parser') prin原创 2017-03-24 23:04:07 · 816 阅读 · 0 评论 -
网络爬虫学习(三)
网络爬虫学习(三) 1、抓取内文资料 (1)打开每条链接,内文包括:标题、内文、时间来源、评论和编辑。 (2)取得内文页面 开发者工具--->检查---->Network--->重载---->Doc,找到对应的链接。 import requests from bs4 import BeautifulSoup res=requests.get('http://n原创 2017-03-25 14:11:33 · 402 阅读 · 0 评论