Ubuntu下使用Requests 和 lxml抓取个人主页文章

首先安装requests lxml库

pip3 install requests lxml

然后开始

#! /usr/bin/env python3
# -*- coding: utf-8 -*-

import requests
from lxml import etree

if __name__ == "__main__":
    """requests lxml"""
    url = "http://www.jianshu.com/u/28c8a26a6d75" # 我的主页
    return_data = requests.get(url)
    html_data = etree.HTML(return_data.text)
    //这里我只取出auth， title， abs
    result_data = html_data.xpath('//div[@class="content"]') # 里面这个表达式可是这样获得
    # 页面F12 选中你要的部分右键 Copy -> Copy XPath (Firefox or Chrome 应该都可以)
    for result in result_data：
        # 这里简单的打印下
        print(result.xpath('.//text()'))

结果：

['\n    ', '\n      ', '\n        ', '\n', '      ', '\n        ', 'single430', '\n        ', '\n      ', '\n    ', '\n    ', '“人民的名义” 之 《天局》原文', '\n    ', '\n      《天局》是作家矫健创作的短篇小说，收录于《矫健中短篇小说集》中。 《天局》西庄有个棋痴，人都称他混沌。他对万事模糊，惟独精通围棋。他走路跌跌斜斜，据说是踩着棋格走，步步都是绝...\n    ', '\n    ', '\n      ', '\n        ', ' 0\n', '        ', '\n          ', ' 0\n', '      ', ' 0', '\n    ', '\n  ']
['\n    ', '\n      ', '\n        ', '\n', '      ', '\n        ', 'single430', '\n        ', '\n      ', '\n    ', '\n    ', 'MQTT，RabbitMQ初步使用 - Ubuntu', '\n    ', '\n      MQTT 使用源码安装 其中会需要一些依赖(编译过程找不到) 接下来就可以进行测试了 之后分别运行两个py文件就可以收到数据了 RabbitMQ 安装RabbitMQ服务su...\n    ', '\n    ', '\n      ', '\n        ', ' 121\n', '        ', '\n          ', ' 0\n', '      ', ' 2', '\n    ', '\n  ']
['\n    ', '\n      ', '\n        ', '\n', '      ', '\n        ', 'single430', '\n        ', '\n      ', '\n    ', '\n    ', 'Ubuntu下 supervisor 初步使用', '\n    ', '\n      第一步 sudo apt-get install supervisor 第二步 sudo touch /etc/supervisor/conf.d/myproject.con...\n    ', '\n    ', '\n      ', '\n        ', ' 29\n', '        ', '\n          ', ' 2\n', '      ', ' 2', '\n    ', '\n  ']
['\n    ', '\n      ', '\n        ', '\n', '      ', '\n        ', 'single430', '\n        ', '\n      ', '\n    ', '\n    ', 'Linux下 tftp服务搭建', '\n    ', '\n      第一步  sudo apt install tftp-hpa tftpd-hpa xinetd 第二步  新建 /etc/xinetd.d/tftpd  内容为:    se...\n    ', '\n    ', '\n      ', '\n        ', ' 23\n', '        ', '\n          ', ' 0\n', '      ', ' 1', '\n    ', '\n  ']
['\n    ', '\n      ', '\n        ', '\n', '      ', '\n        ', 'single430', '\n        ', '\n      ', '\n    ', '\n    ', '微信, 支付宝扫码支付总结', '\n    ', '\n      好不容易折腾微信和支付宝的开发文档才搞出来的 一： 支付宝扫码支付 上面就是支付宝扫码支付，如果成功会返回二维码链接，只需调用库生成二维码就可以。 字典排序函数 微信扫码支付...\n    ', '\n    ', '\n      ', '\n        ', ' 47\n', '        ', '\n          ', ' 0\n', '      ', ' 2', '\n    ', '\n  ']
['\n    ', '\n      ', '\n        ', '\n', '      ', '\n        ', 'single430', '\n        ', '\n      ', '\n    ', '\n    ', 'pip 豆瓣源 Linux or Win7 And 杂项记录', '\n    ', '\n      Linux修改  /home/xxx/.pip/pip.conf   如果没有就新建[global]index-url = https://pypi.doubanio.com...\n    ', '\n    ', '\n      ', '\n        ', ' 3\n', '        ', '\n          ', ' 0\n', '      ', ' 1', '\n    ', '\n  ']
['\n    ', '\n      ', '\n        ', '\n', '      ', '\n        ', 'single430', '\n        ', '\n      ', '\n    ', '\n    ', '一个残疾姑娘说的一句话', '\n    ', '\n      她说：每个人都是上帝咬过的一个苹果，只是自己这个苹果看起来更美味，上帝就咬了一大口。 我一直觉得其实我们每个人都是残疾人，就比如我，近视400度，摘下眼镜，我还能看清什么吗？\n    ', '\n    ', '\n      ', '\n        ', ' 3\n', '        ', '\n          ', ' 0\n', '      ', ' 0', '\n    ', '\n  ']
['\n    ', '\n      ', '\n        ', '\n', '      ', '\n        ', 'single430', '\n        ', '\n      ', '\n    ', '\n    ', 'Django + nginx + uwsgi 部署（linux）', '\n    ', '\n      首先确保你的系统有安装django，uwsgi，nginx，具体如何安装网上的教程一大把，这里我就写几个自己遇到的问题 * 首先 在测试uwsgi是否工作是我们都会写一个xx...\n    ', '\n    ', '\n      ', '\n        ', ' 61\n', '        ', '\n          ', ' 4\n', '      ', ' 2', '\n    ', '\n  ']

简单的写了一下，不过我相信大家应该很聪明
这个是requests库的地址 http://docs.python-requests.org/en/master/

By:single430