爬虫
文章平均质量分 95
Janebook
发现.学习.探索
展开
-
推特账户设置推文保护
1.点击头像,进入设置页2.选择安全与隐私3. 勾选“protect your Tweets”并保存即可4. 其他账号的查看效果原创 2019-01-14 13:32:09 · 18160 阅读 · 0 评论 -
在TWITTER应用中使用OAUTH
在TWITTER应用中使用OAUTH Twitter官方宣布将在2010年6月30日终止对Basic Authorization验证方式的支持,全面启用OAuth的认证方式,广大使用API的天朝网民纷纷表示鸭梨很大,众多使用Basic Auth认证的第三方程序如何适应这个新的变化,本文将会介绍如何在Twitter应用中使用OAuth认证。 一、介绍OAuth 在Twitter未支...转载 2019-03-06 10:28:15 · 3090 阅读 · 0 评论 -
YouTube视频设置水印
1.点击头像选择:“YouTube Studio”2.点击左侧栏选择“creator studio classic”3.页面跳转之后选择,channel下的Branding,继而选择“Add a watermark”4.上传图像后,可以选择设置水印的显示时间:附官方视频(需要VPN):https://support.google.com/youtube/answer...原创 2018-08-03 16:50:08 · 7959 阅读 · 0 评论 -
关于Python2.7推特节点的一些问题说明
""" Constants For All Twitter Endpoints ----------------------------------- Version 1.1, Streaming API and REST API. URLs for each endpoint are composed of the following pieces:...原创 2019-11-05 17:29:14 · 1342 阅读 · 0 评论 -
Twitter开发者账号及开发者APPs的创建 2019.05
转自:https://towardsdatascience.com/access-data-from-twitter-api-using-r-and-or-python-b8ac342d3efeAccess Data from Twitter API using R andPythonOct 29, 2018Using the Twitter API should be an eas...转载 2019-05-29 16:20:13 · 9200 阅读 · 0 评论 -
Twitter Standard API rate limits 推特标准接口API的请求频率限制说明
一、官方文档对速率限制概述官方文档地址:https://developer.twitter.com/en/docs/basics/rate-limits根据官方文档说明可见:此限制仅针对于standard API(标准接口)有效。对于Standard API,无论是post还是get对应的方法接口,均分为user auth和app auth两种频率限制。根据我对官方文档OAuth的...原创 2019-05-20 21:48:41 · 4615 阅读 · 0 评论 -
python2.7 + 谷歌浏览器 实现模拟浏览器爬虫
一、查看谷歌浏览器基本信息在谷歌浏览器地址栏输入:chrome://version/结果示例:二、下载谷歌浏览器及驱动驱动官方下载地址(需要挂翻墙代理访问):https://sites.google.com/a/chromium.org/chromedriver/downloads1、根据“一”中自己浏览器的版本下载对应需要的代理版本:2、将chrome浏览器安装位...原创 2019-04-09 18:52:58 · 3362 阅读 · 2 评论 -
Python+Selenium操作之键盘组合键模拟操作
转载,转自:https://www.jianshu.com/p/f5ae54b5d2d8CTRL+A全选操作# coding=utf-8from selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom time import sleepdriver = webdriver.Fire...转载 2018-12-24 17:27:47 · 8683 阅读 · 2 评论 -
python模拟浏览器爬虫之使用代理驱动“谷歌浏览器”
谷歌浏览器官方驱动下载地址:https://sites.google.com/a/chromium.org/chromedriver/downloads示例代码:from selenium import webdriverclass API(object): def __init__(self, proxy): self.chrome_options = we...原创 2018-12-27 17:19:52 · 1328 阅读 · 0 评论 -
推特Twitter高级搜索
今天,尝试通过模拟浏览器爬取推特数据。想要爬取包括不同关键词的推文,比如含有“home”或者“school”其中的一个,再或者需要指定发推的时间,那么我们需要用到推特的高级搜索功能。进入推特高级搜索功能的方法第一种情况:一、进入推特主页面二、登录推特。在搜索框输入任意内容。三、我们可以看到一个“由三个点组成的图标”,点击即可见“高级搜索”。选择高级搜索,输入相应内容...原创 2018-12-27 16:38:12 · 65516 阅读 · 0 评论 -
python模拟浏览器爬虫之下拉弹窗
问题介绍:待爬取的界面含有内嵌信息,需要点击后对弹窗信息进行采集(如下):首先,需要登录目标网站,点击弹窗,该过程这里不介绍。# coding=utf-8from selenium import webdriverfrom selenium.webdriver import ActionChainsimport pyautoguidriver = webdriver.C...原创 2018-12-21 15:03:13 · 4002 阅读 · 2 评论 -
推特API部分参数过滤规则
1.实时推文https://developer.twitter.com/en/docs/tweets/filter-realtime/guides/basic-stream-parameterstrackA comma-separated list of phrases which will be used to determine what Tweets will be delive...原创 2018-12-26 16:35:22 · 1625 阅读 · 0 评论 -
通过twitterAPI获取twitter数据(基本方法、步骤)
一、准备工作1.通过已有推特账号访问https://apps.twitter.com/ 点击打开链接;(需要翻墙)2.点击右上角图标,填写“name,Description,website”,其中name为APP的名称,自己随便起,不能和别人已有的重名;description是对自己APP的描述(随便写);website自己有网站写自己的网站,没有就写一个符合格式的网站就行,以后可以再改。...原创 2018-06-05 21:24:11 · 68590 阅读 · 22 评论