自动化爬取新闻软文自主发布平台

工具

python2.7
selenium
Chrome浏览器

获取数据的要求

1. 数据来源
http://www.1000t.org/weibo_list.php?page=2
通过控制page的数值，实现网页的跳转。
2. 要获取那些信息？


逐条获取微博频道信息，逐条保存在weibo_list.txt文件中。
3. 怎么获取我们需要的信息？
使用强大的selenium工具，它可以根据元素的XPath路径获取相应元素的值。
在获取之前首先要分析数据的组成以及规律性。
（1） 数据共66页每页20条，共1306条数据。
（2）先对比每页第一条数据的XPath和最后一条数据的XPath;

//第一条
/html/body/div[1]/table/tbody/tr[2]/td[2]
//最后一条
/html/body/div[1]/table/tbody/tr[21]/td[2]/a[1]

很容易发现规律(就不细说了)。
4. 编写代码

#-*- coding:utf-8 -*-
import unittest
import time
import re
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
#和网页编码charset保持一致
import sys
reload(sys)
sys.setdefaultencoding("utf-8")


f = open("/home/xuna/桌面/res/weibo_list.txt",'w')
sum = 1
#外循环控制网页跳转
for page in range(1,67):
    #http://www.1000t.org/luntan_list.php?page=2
    url = "http://www.1000t.org/weibo_list.php?page="+str(page)
    driver = webdriver.Chrome()
    driver.set_window_size(200,200) #设置浏览器窗口的大小
    driver.get(url)
    #内循环抓取每页的数据
    for n in range(2,22):#2-21
        #/html/body/div/table/tbody/tr[2]/td[2]/a/html/body/div/table/tbody/tr[21]/td[2]
        #获取元素的xpath
        name_xpath = '/html/body/div/table/tbody/tr[' + str(n) + ']/td[2]'
        name = driver.find_element_by_xpath(name_xpath).text
        f.write(name + "\n")
        print sum,name
        if sum == 1305:
            break
        sum = sum + 1
driver.close()

5.获取的结果

源码和结果链接：
https://github.com/xuna123/Web-crawer