AaronFR的博客

在进行大数据量插入时，使用execute效率很低。所以改用executemanyexecutemany(query,args)　　能同时执行多条语句，执行同样多的语句可比execute()快很多，强烈建议执行多条语句时使用executemany　　query: sql模板字符串, 例如 'insert into table(id,keyw...

当查询语句中带有模糊查询，且带有 %s 用来连接字符串时，会出现 ValueError:unsupported format character '?' 的错误例如：item = 1sql = "SELECT id,statement FROM table where statement like '%标题%' limit %s"cursor.execute(sql, item...

使用 http://icanhazip.com/ 测试代理IP是否使用成功。访问该网站时，页面显示的是IP地址。import requestsurl = 'http://icanhazip.com'proxies = {'http': '{}:{}'.format(host, port)}r = requests.get(url, proxies=proxies)print(r...

写在前面: 激活的版本是PyCharm Professional 2018.2 ，其他的版本不保证有效1.PyCharm官网下载2018.2版本https://www.jetbrains.com/pycharm/download/other.html（PyCharm版本要和破解补丁版本对应，否则无效）2.下载破解补丁（我使用的是JetbrainsCrack-2.1...

1.默认参数默认参数作用：当缺少参数时，函数仍可以被正常调用，降低调用函数的难度。例如：def func(x,,n=2) return x*n 当调用func(5)时，相当于调用func(5,2)，所以代码不会报错。必选参数在前，默认参数在后，否则Python解释器会报错。当不按顺序提供部分默认参数时，需要把参数名写上：# 定义def enroll(na...

Python是著名的“龟叔”Guido van Rossum在1989年圣诞节期间，为了打发无聊的圣诞节而编写的一个编程语言。Python为编程人员提供了非常完善的基础代码库，覆盖了网络、文件、GUI、数据库、文本等大量内容，被形象地称作“内置电池”（batteries included）。除了内置的库外，Python还有大量其他人开发的第三方库，供编程人员使用。Python缺点：...

基于Dijkstra观点的解释为了表示 1,2,3,…,9 这样一个序列，有四种方法1 ≤ i < 10（左闭右开区间） 0 < i ≤ 9（左开右闭区间） 1 ≤ i ≤ 9（闭区间） 0 < i < 10（开区间）　 那么我们是否有理由更喜欢其中一种方法呢？答案是肯定的。　 方法一和方法二具有以下优点：他们边界之间的差正好等于序列的长度。并且，在这...

当想要给网站或程序添加搜索功能，并且对服务有如下要求：搜索解决方案高效 零配置和完全免费的搜索方案 能够简单的通过json和http与搜索引擎交互 搜索服务器稳定 能够简单的将一台服务器扩展到上百台那么elasticsearch是非常合适的选择。elasticsearch简单介绍elasticsearch是基于Lucene的搜索服务器，基于Java开发。 提供了一个分布式多...

scrapy框架Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。...

每次打开elasticsearch、elasticsearch-head和kibana都要在对应的目录下执行命令，嫌麻烦所以写了一个python脚本一次都执行。import osimport timedef run(): os.system('start D:\\elasticsearch\elasticsearch-5.1.1\\bin\\elasticsearch.bat')...

慕课网《聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎》 学习笔记

分布式爬虫的优点充分利用多机器的带宽加速爬取 充分利用多机的ip加速爬取速度分布式需要解决的问题request队列集中管理 去重集中管理scrapy架构如果要用scrapy做分布式，另一台服务器拿不到当前scrapy内存中的内容，所以队列管理要做成集中管理。scrapy通过内存中的集合set做去重管理，要做分布式就要把去重做成集中管理，但scrapy并没有提供一种机制让...

Python学到递归处，想起了最早学C语言的汉诺塔问题，如今重新温习。递归虽然复杂，但理解递归的要点主要在于“放弃“！放弃你对于理解和跟踪递归全程的企图，只理解递归两层之间的交接，以及递归终结的条件。所以汉诺塔问题可以简化为四种状态：1状态--->2状态：A塔借助C塔将N-1个盘子移到B塔2状态--->3状态：A塔把一个盘子移到C塔3状态--->4状态：B塔借助A塔把N-1