python爬虫
文章平均质量分 51
小心灵呀
不积跬步,无以致千里,不积小流,无以成江河
展开
-
python3爬虫requests.get(url)出现http 500错误
python3爬虫requests.get(url)出现http 500错误一直想要收集各种一些漏洞的详细描述,但是如果直接去国家信息安全漏洞库,查找,复制,太机械了,宝宝不想这么做,漏洞编号我已经找好了,怎样才能更快的收集它们对应的描述呢?当然是爬虫了,说干就干。说明漏洞编号存放于cn.txt文本中,cn.txt和python位于同一目录中利用requests和beautifulsoup模块进原创 2017-11-25 00:03:22 · 20533 阅读 · 1 评论 -
python爬虫思路
爬虫主要涉及的库requests:从因特网上下载文件和网页BeautifulSoup:解析HTML,即网页编写的格式multiprocessingitertools爬取的主要步骤根据关键字,城市,以及页面编号生成需要爬取的页面链接用requests获取相应的网页内容用BeautifulSoup解析,获取需要的关键信息将爬取的信息存入数据库中,插入新的记录或更新已有记录用...原创 2019-02-24 11:12:20 · 442 阅读 · 0 评论