python爬虫
文章平均质量分 58
x_bessie
这个作者很懒,什么都没留下…
展开
-
python爬取数据(豆瓣上TOP250的电影信息)初学者必看!!!
python爬取豆瓣上TOP250电影 初学python爬虫。我这里用的 lxml提取xpath的方式来爬取数据 lxml爬取的速度会比bs4快,所以这里我选用的lxml 话不多上,赶紧上教程。 爬取的思路: 1.获取网页解析(有些网页需要代理) 2.解析完成之后,分析我们需要提取的数据的格式 这里用xpath的方法 3.爬取之后存储,存储数据 我们这次爬取的地址是: http...原创 2018-07-18 21:00:14 · 5796 阅读 · 3 评论 -
Selenium+chrome driver 实现模拟登陆
最近的项目都是在码python多点,所以帖子也跟着来python了。。 最近爬数据的时候,发现有些动态加载网页不是很友好。看了很多的帖子说,Selenium是个好东西。不过要配合着PhantomJS用。但是,Selenium与PhantomJS分手了!今年的事。。。众多的帖子还是结合phantomJS的。人家已经不支持这种方法了。那么现在流行的是:Selenium+Handless Chrome...原创 2018-07-31 22:58:28 · 3048 阅读 · 0 评论 -
Pyspider框架爬取json数据-并存入mysql
使用Pyspider框架爬取数据 安装配置: Anaconda3 5.2.0 ——python3.6 安装命令: pip install pyspider pip install pymysql 终端启动命令: pyspider 进入pyspider dashboard : localhost:5000 官网上面给了很多用法: http://docs.pyspider.org/en/lat...原创 2019-01-03 19:34:17 · 1972 阅读 · 0 评论