Python 爬虫原理写简单代码
简单写了个从 Linux命令大全 爬取命令使用方法的代码,可以使用pyinstaller编译为命令行模式的可执行文件,然后设置系统变量,这样学linux命令或者查询linux命令使用方法就可以不用打开网页了。
# -*- coding: utf-8 -*-
# @Time: 2018/9/14 21:42
# @Author: 素还真
# @File: linuxCMD.py
# @SoftWare: PyCharm
import urllib.request
from lxml import etree
import sys
def cmdQuery():
url = 'http://man.linuxde.net/%s'%(sys.argv[1])
r = urllib.request.urlopen(url)
htmlData = r.read()
html = etree.HTML(htmlData)
content = html.xpath('//div[@class="right arc-wrap"]//div[@id="arc-body"]//text()')
endnum=len(content)
for i in range(0,endnum):
print(content[i],"")
if __name__=='__main__':
try:
cmdQuery()
except:
print("网络连接无法连接或者命令输入错误. Usage:%s %s"%(sys.argv[0],"linux命令名称")," 如:%s ls"%(sys.argv[0]))
![b4b5e7f644ab6ad70b8088b3b82391a2.png](https://i-blog.csdnimg.cn/blog_migrate/b110c1a397c65c3e90ac63a45341b130.jpeg)
运行结果