爬虫
不要绝望总会慢慢变强
当你觉得整个世界都放弃了你,还有那几行代码值得你珍重!
展开
-
Python下载小说遮天
---抓取的笔趣阁网站上的 ---用的xpath解析html ---后边的章节目录为啥不见了尴尬 ---num参数为下载多少章节 import requests import unicodedata from lxml import etree headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64...原创 2020-04-30 00:02:15 · 360 阅读 · 0 评论 -
python登陆学习猿地获取个人介绍
import requests from lxml import etree class Lmonkey: token = '' user = '*****' pwd = '*******' log_url = 'https://www.lmonkey.com/login' get_url = 'https://www.lmonkey.com/users/...原创 2020-04-29 16:14:43 · 225 阅读 · 1 评论 -
post请求获取百度翻译
import requests #定义url url = 'https://fanyi.baidu.com/sug' #发送一个请求 headers = { 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 ...原创 2020-04-28 15:46:33 · 856 阅读 · 0 评论 -
爬虫入门(一)
import requests #定义url url = 'https://www.baidu.com' #发送一个请求 res = requests.get(url) #获取响应结果 print(res) #<Response [200]> res是一个对象 #print(res.content) #b' ...' 二进制文本流 print(res.cont...原创 2020-04-28 01:03:35 · 178 阅读 · 0 评论 -
python day3--爬取每日一句
import requests import re from bs4 import BeautifulSoup url='http://wufazhuce.com/one/'#每一期的链接共同的部分 words=['0']*1800#定义一个长度为1800的列表,用来保存每一句话,并初始化为全‘0’ for i in range(0,100): s=str(i)#数字类型转为字符串类型...原创 2019-12-10 08:47:07 · 455 阅读 · 1 评论