网络爬虫
阳光下的Smiles
生命在于运动,知识在于积累。
展开
-
Windows下安装Anaconda和python
Windows下安装Anaconda和pythonanaconda可以看做Python的一个集成安装,安装它后就默认安装了python、IPython、集成开发环境Spyder和众多的包和模块。非常方便。1、下载这里选择安装3.6版的python。下载安装包为:Anaconda3-4.3.1-Windows-x86.exe2、安装(1)直接双击即可安装,这里原创 2017-03-24 21:59:11 · 1167 阅读 · 0 评论 -
网络爬虫学习(一)
网络爬虫学习(一)1、非结构化数据没有固定的数据格式,如网页资料。必须透过ETL(Extract,Transormation,Loading)工具将数据转化为结构化数据才能取用。(1)数据抽取、转换、存储(Data ETL)(2)网络爬虫架构2、使用开发人员工具在网页上点击右键--->检测以新浪网站为例:刷新后的页面如下图所示通过原创 2017-03-24 22:07:16 · 401 阅读 · 0 评论 -
网络爬虫学习(二)
网络爬虫学习(二)1、BeautifulSoup 基础操作上次代码为:from bs4 import BeautifulSouphtml_sample=' \ \ \ Hello World \This is link1 \ This is link2 \ \'soup=BeautifulSoup(html_sample,'html.parser')prin原创 2017-03-24 23:04:07 · 796 阅读 · 0 评论 -
网络爬虫学习(三)
网络爬虫学习(三)1、抓取内文资料(1)打开每条链接,内文包括:标题、内文、时间来源、评论和编辑。(2)取得内文页面开发者工具--->检查---->Network--->重载---->Doc,找到对应的链接。import requestsfrom bs4 import BeautifulSoupres=requests.get('http://n原创 2017-03-25 14:11:33 · 392 阅读 · 0 评论