Python网络爬虫1

简单爬取新浪新闻网的部分新闻：

代码：选用技术（requsets，BeautifulSoup）

import requests
from bs4 import BeautifulSoup

res = requests.get('http://news.sina.com.cn/china/')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text, 'html.parser')

for news in soup.select('.blk122'):
    print(len(news))
    #news涵盖了标题和网址，所以是双倍len // 整除
    num = len(news) // 2
    for i in range(0, num):
        if i <= len(news):
            href = news.select('a')[i]['href']
            titl = news.select('a')[i].text
            print(titl, href)

结果：
23
沈阳楼市变脸：从鼓励大学生零首付购房到限售 http://news.sina.com.cn/c/nd/2017-08-22/doc-ifykcppy0119890.shtml
合肥疯狂楼市终结：开发商雇人拉客看房 http://news.sina.com.cn/c/nd/2017-08-22/doc-ifykcypq2732441.shtml
吴敦义盼尽快结束蔡英文执政 恢复两岸和平发展 http://news.sina.com.cn/c/gat/2017-08-21/doc-ifykcppy0107438.shtml
肃清虞海燕流毒 兰州多部门一把手拟集中调整 http://news.sina.com.cn/c/sz/2017-08-21/doc-ifykcypq2633944.shtml
中纪委点名落马官员:两面人典型 演技登峰造极 http://news.sina.com.cn/c/nd/2017-08-21/doc-ifykcppy0095600.shtml
徐玉玉去世一周年 徐父：生活得继续在打工还债 http://news.sina.com.cn/c/nd/2017-08-21/doc-ifykcqaw0550502.shtml
中南大学研发出耐3000℃烧蚀新材料 http://news.sina.com.cn/o/2017-08-21/doc-ifykcqaw0544760.shtml
“占中”分子被收监是政治检控？林郑月娥回应 http://news.sina.com.cn/c/gat/2017-08-21/doc-ifykcppy0072341.shtml
北京能疏解多少人到雄安新区？专家称三五十万 http://news.sina.com.cn/o/2017-08-21/doc-ifykcqaw0525325.shtml