爬虫
EasonPython
这个作者很懒,什么都没留下…
展开
-
windows下ffmpeg的使用
ffmpeg下载视频指令,搞了两天才试对了,查的好多指令都是错误的(注意ffmpeg要安装哦,安装完毕将bin目录加入环境变量)ffmpeg -i "m3u8地址" -vcodec copy - acodec copy "视频文件名"下面是ffmpeg的其他使用1.ffmpeg安装1)下载进入http://ffmpeg.org/download.html#build-wind...转载 2019-10-11 21:25:07 · 1116 阅读 · 0 评论 -
Python+selenium+webdriver爬虫
一、有界面浏览器import timefrom selenium import webdriver## 设置静默运行chrome_options = webdriver.ChromeOptions()chrome_options.add_argument('--headless')driver = webdriver.Chrome(executable_path=r'C:\Use...原创 2019-10-09 21:18:21 · 1005 阅读 · 0 评论 -
爬虫框架基础流程
一、安装scrapypip install Scrapy二、开启项目scrapy startproject example #example是项目名称三、进入项目目录cd example四、创建项目scrapy genspider example example.com #example是项目文件名(py文件)example.com是域名五、启...原创 2019-09-02 10:57:11 · 581 阅读 · 0 评论 -
爬虫请求头伪装(一)
UserAgent的伪装UserAgent代表使用浏览器内核,在爬取数据时不断切换浏览器内核可起到一定的伪装作用from fake_useragent import UserAgentua = UserAgent()# print(ua.ie) #ie的 内核# print(ua.chrome) #谷歌浏览器 内核useragent = ua.rando...原创 2019-08-30 20:25:04 · 4079 阅读 · 0 评论 -
requests用法之爬取豆瓣排行
爬取豆瓣排行import requestsurl = "https://movie.douban.com/j/chart/top_list?type_name=科幻&type=17&interval_id=100:90&action="headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; ...原创 2019-08-20 21:11:39 · 588 阅读 · 0 评论 -
通过requests模拟登录
模拟登录网站import requestsssion = requests.session()def login(): login_url = "http://www.renren.com/PLogin.do" data = { "email": "", #用户名 "password": "", #密码 "Coo...原创 2019-08-20 21:08:23 · 639 阅读 · 0 评论 -
模拟百度翻译
一、输入英文可以翻译成中文,中文部分可以识别进原理是行翻译利用python的requests进行请求,输入待翻译的单词后,会输出相应的翻译(汉英互译),目前不支持其他语言,待完善import requestsdef translate(): while True: url = "https://fanyi.baidu.com/sug" keyw...原创 2019-08-20 20:58:40 · 2480 阅读 · 0 评论 -
基于requests的爬虫基础
1、首先安装requests模块 pip installrequests2、给出url和 headers的参数:3、浏览器中按F12 进入network ,刷新页面,然后点击基础完整代码如下:import requests #导入模块url = 'https://www.baidu.com/' #url地址headers={"User-Agent":"M...原创 2019-08-19 22:33:52 · 541 阅读 · 0 评论