2018年11月_东华果汁哥

原创【python 多线程和多进程】说说进程和线程的区别

多线程图解：在理解这些概念之前首选要对并发有一定的感性认识，如果服务器同一时间内只能服务于一个客户端，其他客户端都再那里傻等的话，可见其性能的低下估计会被客户骂出翔来，因此并发编程应运而生，并发是网络编程中必须考虑的问题。实现并发的方式有多种：比如多进程、多线程、IO多路复用。多进程：进程是资源（CPU、内存等）分配的基本单位，它是程序执行时的一个实例。程序运行时系统就会创建一个进程，并为...

2018-11-30 19:49:52 657

原创【python 陷阱】Python为我们做的一些优化工作

每种编程语言都有一些不为人知的陷阱，有些实际工作中会踩到，有些可能根本排不上用场，但弄明白这些陷阱有利于我们更好的去了解这门语言的实现机制。下面这个题，你是否能一眼看出问题的本质。# 第一组>>> a = 256>>> b = 256>>> a is bTrue# 第二组>>> a = 257>&gt

2018-11-30 10:57:41 476

原创【python 日志模块】打印常见的日志模块

python 程序经常需要打一些日志文件，如error,erro,debug,waring 等，所以我们需要一个模块去处理这个日志。下面是一个日志模板，以后可以拿来用。loggers.py# -*- coding: utf-8 -*-import osimport timeimport loggingimport inspectdt = time.strftime("%Y%m%d...

2018-11-28 20:13:34 705 1

原创【python celery】分布式任务队列Celery入门教程1

官方文档：http://docs.jinkan.org/docs/celery/#简介：Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具。它是一个专注于实时处理的任务队列，同时也支持任务调度。运行模式是生产者消费者模式：Celery的架构Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（wor...

2018-11-28 18:31:41 1711

原创【python 连接池】python使用连接池连接oracle、mysql

安装包pip install DBUtilspip install cx_Oraclepip install MySQLdbDBUtils下载地址：https://pypi.python.org/pypi/DBUtils/oracle 连接池方式：from DBUtils.PooledDB import PooledDBimport cx_Oracleuser='XXXXX'...

2018-11-27 18:36:09 4725

原创【pandas 读文本数据】pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 2

pandas读取文本总会出现坏的几行，这时候会报如下错误： pandas.errors.ParserError: Error tokenizing data. C error: Expected 1 fields in line 2144, saw 3解决办法：加入参数error_bad_lines=False读取数据data=pd.read_csv('F:\kk文本反垃圾\文本反垃圾测...

2018-11-26 18:27:16 15060 2

原创【Sublime 去除空白行】Sublime Text快捷键去除空白行

如果使用notepad++或者Dreamweaver的朋友，应该知道有个快捷键或者功能按钮，可以实现删除文档空白行的功能。虽然空白行不会影响程序运行，但是会占一定的空间。到了Sublime Text中却是没有发现任何一个快捷键或者组合可以做到一键去除空白行。不过Sublime Text有一个插件可以解决这个问题，它就是DeleteBlankLines。安装 sublime 插件：DeleteBl...

2018-11-26 17:56:41 3097

原创【python 文字识别】利用pytesseract库进行图片文字识别

关于中文的识别，效果比较好而且开源的应该就是Tesseract-OCR了，python 里面也有一个包去使用Tesseract-OCR。这个包叫pytesseract 。安装pytesseractpip install pytesseract除此之外还需要安装图像处理的包PILpip install pillow然后要安装一个Tesseract-OCR软件。这个软件是由Googl...

2018-11-23 15:21:30 4173

原创【python 线程】python线程通信与生产者消费者模式

1.什么是生产者消费者模型生产者：比喻的是程序中负责产生数据的任务消费者：比喻的是程序中负责处理数据的任务生产者 --》共享的介质（队列）《-- 消费者2.为何用实现了生产者与消费者的解耦和，生产者可以不停地生产，消费者也可以不停地消费从而平衡了生产者的生产能力与消费者的消费能力，提升了程序整体运行的效率3、什么时候用？当我们的进程中存在明显的两类任务，一类负责产生数据，另外一类负...

2018-11-21 20:05:59 281

原创【python 双端队列】双端队列python操作

双端队列，是一种具有队列和栈的性质的数据结构双端队列中的元素可以从两端弹出，其限定插入和删除操作在表的两端进行。双端队列可以在队列任意一端入队和出队双端队列的实现操作：Deque()创建一个空的双端队列add_front(item)从队头加入一个item元素add_rear(item)从队尾加入一个item元素remove_front()从队头删除一个item元素remove_r...

2018-11-21 19:48:44 862

原创【R 推荐系统】基于用户推荐协同过滤算法(UserCF)

系统在现在的互联网应用中很常见，比如，亚马逊会推荐你买书，豆瓣会给你一个书评，影评。那么如何用R语言实现推荐模型？算法步骤：1). 建立数据模型2). 欧氏距离相似度算法3). 最紧邻算法4). 推荐算法5). 运行程序我们选用一组比较简单的数据集testCF.csv1 101 51 102 31 103 2.52 101 22 102 2.52 103 52 104 ...

2018-11-18 12:05:15 2399

原创【python Elasticsearch】python 操作Elasticsearch之dsl语句查询

python 实现上面的查询语句：# -*- coding:utf-8 -*-from elasticsearch import Elasticsearchimport jsones = Elasticsearch()dsl = {"query":{"bool":{"must":[],"must_not":[],"should":[{"query_string":{&quo

2018-11-16 15:25:32 3015 1

原创【Elasticsearch 入门篇】Elasticsearch 相关概念

在 Elasticsearch 中有几个基本的概念，如节点、索引、文档等等，下面来分别说明一下，理解了这些概念对熟悉 Elasticsearch 是非常有帮助的。1、Node 和 ClusterElasticsearch 本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elasticsearch 实例。单个 Elasticsearch 实例称为一个节点（Node）。...

2018-11-16 15:10:51 406

原创【python Elasticsearch】python 简单操作Elasticsearch

windows本地安装ES,见链接：https://blog.csdn.net/u013421629/article/details/84136744python提供了操作ElasticSearch 接口，因此要用python来操作ElasticSearch，首先要安装python的ElasticSearch包pip install elasticsearch官网提供的python操作ES...

2018-11-16 12:14:42 961

原创【elasticsearch 入门篇】Windows10下安装ElasticSearch

1、什么是ES?如果我们想实现自己的搜索引擎，方便存储和检索，Elasticsearch 就是不二选择，它是一个全文搜索引擎，可以快速地储存、搜索和分析海量数据。Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。那 Lucene 又是什么？Lucene 可能是目前存在的，不论开源还是私有的，拥有最先进，高性能和全功能搜索引擎功能...

2018-11-16 11:47:16 5608

原创【python Flask】使用 Flask 通过预先训练的深度学习模型来提供预测API

1、首先安装包pip install tensorflowpip install keraspip3 install pandas2、keras 训练你的模型保存为一个文件。# -*- coding:utf-8 -*-# 导入panda，keras 和tensorflowimport pandas as pdimport tensorflow as tfimport ...

2018-11-15 16:22:23 7168 4

原创【python Flask】用uwsgi 启动flask 服务方式

用uwsgi 启动flask 服务方式：在flask项目目录下新建文件 uwsgi.ini 文件，写入如下内容：[uwsgi]master = truehttp=:5000chdir = /home/urun/web/cluster_managerwsgi-file=/home/urun/web/cluster_manager/run.pycallable=appprocesses...

2018-11-15 14:37:43 15278 1

原创【python RAS验签】RSA生成公钥和私钥，并验签

1、RSA加密解密过程公钥加密，私钥解密2、RSA验签过程私钥产生签名，公钥验证签名1.服务端产生公钥和私钥私钥，去掉换行，空格，头部，利用阿里的工具转成pkcs8给客户端2.客户端用私钥对需要验签的参数，得到签名，用base64工具类加密一次把需要验签的参数和签名传到服务端3.服务端直接用python产生的公钥（不做任何处理），验证参数和解密之后的签名，看是否通过python...

2018-11-09 12:23:45 3875

原创【python 定时任务调度】用APScheduler调度框架完成python脚本调度

先写三个脚本：test1.py:# -*- coding: utf-8 -*-def main_job1(): print('This job is run every 20 seconds.')test2.py:# -*- coding: utf-8 -*-def main_job2(): print('This job is run every 1 minu...

2018-11-09 12:04:58 1282

原创【python flask应用】ImportError: No module named 'flask.ext' 解决

实用flask 过程中报如下错误： File "E:\laidefa\lib\site-packages\flask_cache\jinja2ext.py", line 33, in &lt;module&gt; from flask.ext.cache import make_template_fragment_keyImportError: No module named 'fl...

2018-11-07 15:54:00 3943

原创【python Flask应用】使用flask缓存机制提高应用访问效率

如果你开启了一个flask应用运行很慢，建议尝试引入一些缓存。下面介绍下如何引入缓存机制–Flask-Cache。首先使用pip将其安装上：pip install flask-cache 然后创建一个Flask-Cache的实例：from flask import Flaskfrom flask_cache import Cache# flask模块app = Flask(__n...

2018-11-07 15:46:43 2701

原创【java 正则表达式】java正则表达式匹配图片个数

Java 正则表达式和 Perl 的是最为相似的。java.util.regex 包主要包括以下三个类：1、Pattern 类：pattern 对象是一个正则表达式的编译表示。Pattern 类没有公共构造方法。要创建一个 Pattern 对象，你必须首先调用其公共静态编译方法，它返回一个 Pattern 对象。该方法接受一个正则表达式作为它的第一个参数。2、Matcher 类：Matc...

2018-11-03 11:09:41 1568

原创【oracle 客户端】linux下安装配置oracle客户端

要在服务器linux 下连接使用oracle 必须先按装oracle客户端。下面来记录下如何安装成功。一、安装必要的库gcc依赖yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel gcc python-devel -y二、用pip安装cx_Oraclepip install cx_Orac...

2018-11-23 16:17:46 4088 2

赖德发的博客