爬虫
等风来ing
行路难,行路难。多歧路,今安在
展开
-
Python BeautifulSoup爬取当当网图书信息
# -*- coding: utf-8 -*- import urllib.request from bs4 import BeautifulSoup import pandas as pd path1 = r'C:\Users\name\Desktop\单品信息爬虫抓取\second_class.xlsx' # 我是有个要查的ID表,自己做着玩建议ID从25069999开始迭代 pat...原创 2018-04-18 18:19:29 · 3210 阅读 · 0 评论 -
Python BeautifulSoup爬取链家租房信息
# -*- coding: utf-8 -*- """ Created on Thu May 3 14:15:00 2018 @author: liuyiheng """ import urllib import pandas as pd from pandas import DataFrame from bs4 import BeautifulSoup from urllib impor...原创 2018-05-03 18:29:08 · 1713 阅读 · 0 评论 -
python 当当京东比价
今天发现当当的抢购价是覆盖在当当价上的,大概是页面加载js渲染展示新的抢购价。所以如果简单的去爬就会发现爬到的价格和网页显示的不一样。不得不吐槽,当当的网页加载真的慢,我眼睁睁看着当当被替换成抢购价。不过无所谓了,我已经会用selenium爬加载js的动态网页了。等我再学学就是要解决多线程问题。不过发现跟机器学习一样,爬虫也有现成的好用的框架,自己写只是帮助理解原理,效果还是不如直接用框架# -*...原创 2018-05-15 18:11:59 · 874 阅读 · 2 评论 -
python 自如爬虫
from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By fr...原创 2018-06-08 15:19:13 · 2692 阅读 · 2 评论