Python数据爬取
文章平均质量分 86
python爬虫相关知识与案例
RunnerJxc
云计算行业从业者,偶尔coding,专注于linux、云计算及容器技术研究。
展开
-
【Scrapy爬取实例】- 爬取链家网指定城市二手房源信息
爬取链家网指定城市的二手房源信息,使用mongdb作数据存储。原创 2020-06-05 18:16:14 · 1025 阅读 · 0 评论 -
python自动化—robobrowser模拟登陆
简介: 简单来说,robobrowser是一个轻量级的浏览器,自动测试库,和selenium类似,但运行比selenium更为隐蔽,因为它不会打开浏览器页面。如果之前的爬虫中你有使用过requests和bs4,那robobrowser绝对会让你爱不释手。原创 2019-12-31 11:13:54 · 2876 阅读 · 4 评论 -
Python+selenium实现自动爬取实例
Selenium 是一个用于Web应用程序测试的工具。它直接运行在浏览器中,模拟用户操作,就像真正的用户在操作一样。原创 2018-06-22 16:09:13 · 7133 阅读 · 0 评论 -
python如何爬取动态网页数据
1.引言 说到爬网页,我们一般的操作是先查看源代码或者审查元素,找到信息所在节点,然后用 beautifulsoup/xpth/re 来获取数据,这是我们对付静态网页的常用手段。 但大家也知道,现在的网页大多都是动态的了,即数据是通过js渲染加载的,静态网页那一套在这根本不讨好,所以,掌握爬取动态加载数据的方法就显得十分必要了。 下面以爬取中国电影网中国票房排行前500为例讲解下...原创 2018-06-16 12:43:52 · 5372 阅读 · 2 评论 -
Python操作mysql数据库
往mysql写数据一段时间了,但一直没写篇博客记录,所以今日特地补上一篇。(以下操作的前提是你已配好了python环境及安装了mysql数据库)python版本: 2.7模块安装: pip install pymysql前言:考虑到现在python3.x已经不支持MySQLdb了,所以本次采用pymysql讲解,使用python3.x的看官改下语法就行。首先,说下操作步骤。1.建个测试表,表名为...原创 2018-04-15 20:19:44 · 423 阅读 · 0 评论 -
Python 爬取内容存入Excel实例
最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活! 鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,...原创 2018-04-14 09:57:03 · 64391 阅读 · 60 评论 -
Python 爬取网站小实例
由于这学期开了一门叫《大数据技术与应用》的课,从而开始了Python的学习之旅。刚开始讲课,老师讲的比较基础,加上自己之前累积了一些语言基础,于是很快便变得“贪得无厌”。 到了周末,便开始在网上疯狂搜索各种爬虫教程,很快,便写出了自己的第一个爬取网页的程序。其实应该说代码较为恰当些,毕竟就几行而已。不过,当时运行后,打印出页面信息的感觉还是挺爽的。而有了第一步,自然会去尝...原创 2018-03-21 22:47:38 · 5725 阅读 · 0 评论