2018年12月_Janebook

12月 11月 10月 08月 07月 06月 05月 04月

原创 python模拟浏览器爬虫之使用代理驱动“谷歌浏览器”

谷歌浏览器官方驱动下载地址：https://sites.google.com/a/chromium.org/chromedriver/downloads示例代码：from selenium import webdriverclass API(object): def __init__(self, proxy): self.chrome_options = we...

2018-12-27 17:19:52 1310

原创推特Twitter高级搜索

今天，尝试通过模拟浏览器爬取推特数据。想要爬取包括不同关键词的推文，比如含有“home”或者“school”其中的一个，再或者需要指定发推的时间，那么我们需要用到推特的高级搜索功能。进入推特高级搜索功能的方法第一种情况：一、进入推特主页面二、登录推特。在搜索框输入任意内容。三、我们可以看到一个“由三个点组成的图标”，点击即可见“高级搜索”。选择高级搜索，输入相应内容...

2018-12-27 16:38:12 65211

原创推特API部分参数过滤规则

1.实时推文https://developer.twitter.com/en/docs/tweets/filter-realtime/guides/basic-stream-parameterstrackA comma-separated list of phrases which will be used to determine what Tweets will be delive...

2018-12-26 16:35:22 1602

转载 Python+Selenium操作之键盘组合键模拟操作

转载，转自：https://www.jianshu.com/p/f5ae54b5d2d8CTRL+A全选操作# coding=utf-8from selenium import webdriverfrom selenium.webdriver.common.keys import Keysfrom time import sleepdriver = webdriver.Fire...

2018-12-24 17:27:47 8659 2

原创 python模拟浏览器爬虫之下拉弹窗

问题介绍：待爬取的界面含有内嵌信息，需要点击后对弹窗信息进行采集（如下）：首先，需要登录目标网站，点击弹窗，该过程这里不介绍。# coding=utf-8from selenium import webdriverfrom selenium.webdriver import ActionChainsimport pyautoguidriver = webdriver.C...

2018-12-21 15:03:13 3978 2

转载 python 列表排序方法sort、sorted技巧篇

python 列表排序方法sort、sorted技巧篇引用：http://www.cnblogs.com/whaben/p/6495702.html#undefinedPython list内置sort()方法用来排序，也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列。1）排序基础简单的升序排序是非常容易的。只需要调用sorted()方法。它返回一...

2018-12-17 11:15:51 478

原创 python socket编程，报错“TypeError: an integer is required”

我的程序中使用的代码如下：class YouTubeApi(object): def __init__(self, developer_key=DEVELOPER_KEY): socks.setdefaultproxy(socks.PROXY_TYPE_HTTP, proxyIP, proxyPort) # 这里的proxyIP，Proxyport分别为代理的地址和...

2018-12-11 12:21:28 2750

原创 python之yield的用法

参见菜鸟教程示例：点击访问菜鸟示例# -*- coding: UTF-8 -*-def fab(max_num): i, a, b = 0, 0, 1 while i < max_num: yield b # 使用 yield # print b a, b = b, a + b i = i + 1...

2018-12-07 20:11:22 173

原创 windows命令行连接远程服务器MongoDB

基本命令及参数一览：D:\software\professional\mongoDB\bin>mongo --helpMongoDB shell version v3.4.5usage: mongo [options] [db address] [file names (ending in .js)]db address can be: foo ...

2018-12-03 12:57:59 6254

转载矩阵——特征向量（及一些基本概念）

转载，原链接（建议在原链接查看）矩阵是个非常抽象的数学概念，很多人到了这里往往望而生畏。比如矩阵的乘法为什么有这样奇怪的定义？实际上是由工程实际需要定义过来的。如果只知道概念不懂有何用处，思维就只有抽象性而没有直观性，实在是无法感受矩阵的精妙。直观性说明我们先看点直观性的内容。矩阵的特征方程式是：A * x = lamda * x这个方程可以看出什么？上次我们提到矩阵实际可以看...

2018-12-02 20:56:08 9282

Java设计模式及实践-机械工业出版社.zip（代码）

《Java设计模式及实践》，机械工业出版社。书中代码。作者：印度——卡马尔米特·辛格；荷兰——艾德里安；罗马尼亚——路西安；翻译：张小坤、黄凯、贺涛。官网对应书籍地址：https://www.packtpub.com/application-development/design-patterns-and-best-practices-java。

2019-07-27