![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
pchaoda
这个作者很懒,什么都没留下…
展开
-
获取免费代理池-使用Python3WebSpider / ProxyPool
1、克隆代码到本地(注意这个项目是基于python3的) https://github.com/Python3WebSpider/ProxyPool.git git clone https://github.com/Python3WebSpider/ProxyPool.git 2、cd到项目目录,安装依赖 pip3 install -r requirements.txt 3、启动redis,可以是远程的,可以是本地的 如果有密码需要在setting.py里设置 # redis host原创 2021-02-28 22:33:30 · 706 阅读 · 0 评论 -
ChromeDriver下载地址-配合selenium
官方网站:(需要有外网才可以访问) https://sites.google.com/a/chromium.org/chromedriver 下载地址(两个都可以): https://chromedriver.storage.googleapis.com/index.htmlhttp://npm.taobao.org/mirrors/chromedriver/原创 2021-02-26 22:21:51 · 460 阅读 · 0 评论 -
python爬虫实战2-获取当当网近30日好评榜前500本书籍-使用BeautifulSoup
所有的一切都跟上一篇文章是一样的,不同的是不用写长长的正则表达式啦,上一期传送门https://blog.csdn.net/u010376229/article/details/114042780 这次我们需要用到BeautifulSoup,只需简单的学习一下就剋不用写正则表达式啦,而且更加清楚 def get_books_info_of_current_page(page): html = get_html("http://bang.dangdang.com/books/fivestars/原创 2021-02-25 22:42:00 · 318 阅读 · 0 评论 -
python爬虫实战1-获取当当网近30日好评榜前500本书籍
1、首先打开当当网,点击好评榜,选择近30日,此时浏览器中的URL复制一下,备用 http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1 2、每一页显示20本书,点击下一页可以发现URL变化了,但是只有最后一个数变化,http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-2,对应页数 3、F12打开开发者工具,原创 2021-02-24 22:07:29 · 1210 阅读 · 0 评论