网络爬虫
饼干哥哥数据分析
这个作者很懒,什么都没留下…
展开
-
用selenium抓取海关数据
由于工作需要,之前从http://customs.tradestudy.cn/ 帮课大学上爬了一些国家的海关数据。 刚好很久没用 selenium 于是就来练手,直接上源码:from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver...原创 2018-07-05 14:17:08 · 5107 阅读 · 0 评论 -
用BeautifulSoup 爬人人词典中对应ANKI单词库内容
由于最近开始备考研,导致沉迷ANKI不能自拔。下载了一个历届考研真题的单词库,背着背着觉得不带劲。于是想到了情景记忆法背单词,自然就联想到美剧!要是能把每个单词找出美剧里对应的句子、语音和翻译该多好!这不就是人人词典么!事不宜迟,立马就导出了单词库的单词列表,开爬人人词典上对应的内容。一开始还害怕人人词典会不好弄,没想到爬虫基础库都可以搞掂…源码:import pandas as pd...原创 2018-07-05 14:46:29 · 2090 阅读 · 3 评论 -
Scrapy抓取西语国家黄页PaginasAmarillas 中潜在客户信息
因工作需要开发南美的客户,于是我就想到 https://www.paginasamarillas.com 西语国家的黄页网站,在上面一搜确实有很多内容。刚好可以来练手Scrapy.源码:./spiders/paginasamarillas_spider.pyfrom scrapy import Requestfrom scrapy.spiders import Spiderfr...原创 2018-07-05 15:08:57 · 957 阅读 · 0 评论