- 博客(243)
- 收藏
- 关注
RSS订阅转载 python 第三方模块之 APScheduler - 定时任务
介绍APScheduler的全称是Advanced Python Scheduler。它是一个轻量级的 Python 定时任务调度框架。APScheduler 支持三种调度任务：固定时间间隔，固定时间点（日期），Linux 下的 Crontab 命令。同时，它还支持异步执行、后台执行调度任务。APScheduler基于Quartz的一个Python定时任务框架，实现了Quartz的所有功能，使用起来十分方便。安装pip install apscheduler官方地址http
2021-04-27 17:53:53
1162
转载 Redis 安装
redis 简介 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库，并提供多种语言的 API的非关系型数据库。 传统数据库遵循 ACID 规则。而 Nosql（Not Only SQL 的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称） 一般为分布式而分布式一般遵循 CAP 定理。Redis是nosql(也是个巨大的map) 单线程，但是可处理1秒10w的并发（数据都在内存中）Github 源码
2021-03-25 14:03:30
136
转载 Python 内置模块之 ConfigParser - 解析 ini 文件
INI文件结构简单描述INI文件就是扩展名为“ini”的文件。在Windows系统中，INI文件是很多，最重要的就是“System.ini”、“System32.ini”和“Win.ini”。该文件主要存放用户所做的选择以及系统的各种参数。用户可以通过修改INI文件，来改变应用程序和系统的很多配置。但自从Windows 95的退出，在Windows系统中引入了注册表的概念，INI文件在Windows系统的地位就开始不断下滑，这是因为注册表的独特优点，使应用程序和系统都把许多参数和初始化信息放进了注册表中
2021-03-17 15:33:58
1830
转载 kafka 命令行命令大全
kafka 脚本connect-distributed.shconnect-mirror-maker.shconnect-standalone.shkafka-acls.shkafka-broker-api-versions.shkafka-configs.shkafka-console-consumer.shkafka-console-producer.shkafka-consumer-groups.shkafka-consumer-perf-test.shkafka-delegat
2021-03-17 10:38:20
4992
转载 Docker 精通之 docker-compose
1、Docker-compose简介1.1、ocker-compose简介Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录下的所有文件（docker-compose.yml，extends文件或环境变量文件等）组成一个工程，若无特殊指定工程名即为当前目录名。一个工程当中可包
2021-03-15 15:36:00
1366
转载 flask-SQLAlchemy 使用 session.commit() 处理异常回滚
最为原始的try/except办法，多次插入数据就要写多次，很麻烦，使用python原生的contextlib.contextmanager简化代码！ try: user_db = User(email=self.email, nickname=self.nickname, password=self.password) db.session.add(user_db) #所有的数据处理准备好之后，执行commit才会提交到数据库！ db.session.commit()e
2021-03-09 17:59:49
7215
原创 kafka 日志相关配置
log4j.properties 文件log4j.properties 是 kafka 操作日志配置文件log4j.properties 文件的一些说明# 日志级别覆盖规则 优先级：ALL < DEBUG < INFO <WARN < ERROR < FATAL < OFF# 1.子日志log4j.logger会覆盖主日志log4j.rootLogger，这里设置的是日志输出级别，Threshold设置appender的日志接收级别；# 2.log4j.log
2021-03-08 15:13:18
10350
转载 前端之使用 POST 提交数据并跳转
GET 方式window.location.href是我们常用来在js中实现页面跳转的方法，这是使用get方式发送请求，示例如下window.location.href = url;优点是简单易用，缺点是如果有参数的话，参数会暴露在url地址中，这降低了系统的安全性，也影响用户体验。POST 方式通过模拟表单提交的方式进行跳转// 发送POST请求跳转到指定页面function httpPost(URL, PARAMS) { var temp = document.createEleme
2021-03-08 11:45:41
4138
转载 Python 第三方模块之 selenium - 模拟操作 Chrome 浏览器
1、安装selenium1.1、Python 安装 selenium 模块pip install selenium1.2、下载驱动选择和自己chrom版本相对应的驱动到本地，下载地址http://npm.taobao.org/mirrors/chromedriver/2、Python 操作from selenium import webdriverimport timeimport json# 创建Chrome对象,需要先下载驱动。driver = webdriver.Chro
2021-03-02 11:25:18
1605
2
转载 PostgreSQL 入门
自从MySQL被Oracle收购以后，PostgreSQL逐渐成为开源关系型数据库的首选。本文介绍PostgreSQL的安装和基本用法，供初次使用者上手。以下内容基于Debian操作系统，其他操作系统实在没有精力兼顾，但是大部分内容应该普遍适用。一、安装首先，安装PostgreSQL客户端。sudo apt-get install postgresql-client然后，安装PostgreSQL服务器。sudo apt-get install postgresql正常情况下，安装完成后
2021-02-25 18:25:19
708
转载 Python 第三方模块之 psutil - 获取系统运行的进程和系统利用率信息
一、psutil模块:官方网址：http://pythonhosted.org/psutil/1.psutil是一个跨平台库(http://pythonhosted.org/psutil/)能够轻松实现获取系统运行的进程和系统利用率（包括CPU、内存、磁盘、网络等）信息。它主要用来做系统监控，性能分析，进程管理。它实现了同等命令行工具提供的功能，如ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、p
2021-01-29 16:05:18
1666
2
转载 HTTP POST 发送数据的参数 application/x-www-form-urlencoded、multipart/form-data、text/plain
HTTP 简介HTTP/1.1 协议规定的 HTTP 请求方法有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 这几种。其中 POST 一般用来向服务端提交数据，本文主要讨论 POST 提交数据的几种方式。我们知道，HTTP 协议是以ASCII 码传输，建立在 TCP/IP 协议之上的应用层规范。规范把 HTTP 请求分为三个部分：状态行、请求头、消息主体。类似于下面这样：<method> <request-URL>.
2021-01-28 15:02:44
4833
1
转载 Python 第三方模块之 lxml - 解析 HTML 和 XML 文件
阅读目录1、python库lxml的安装2、XPath常用规则（1）读取文本解析节点（2）读取HTML文件进行解析（3）获取所有节点（4）获取子节点（5）获取父节点（6）属性匹配（7）文本获取（8）属性获取（9）属性多值匹配（10）多属性匹配（11）XPath中的运算符（12）按序选择（13）节点轴选择（14）案例应用：抓取TIOBE指数前20名排行开发语言lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高XPa
2021-01-18 11:09:36
3743
转载 Python 第三方模块之 beautifulsoup（bs4）- 解析 HTML
简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：官网文档'''Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。'''安装pip3 install beautifulsoup4解析器Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的
2021-01-18 10:51:38
4102
原创 前端之 form 详解
认识表单在一个页面上可以有多个form表单，但是向web服务器提交表单的时候，一次只可以提交一个表单。 要声明一个表单，只需要使用 form 标记来标明表单的开始和结束，若需要向服务器提交数据，则在form标签中需要设置action属性（用来设置提交表单的位置）、method属性（用来定义浏览器将表单中的信息提交给服务器端程序的处理方式）、target属性（用来指定服务器返回结果所显示的目标窗口或目标框架）；但是，对于客户端脚本编程来说，并不需要这些属性来帮助提交表单信息，form标签存在的意义是在于
2021-01-12 20:12:50
4625
转载 python 第三方模块 yaml - 处理 YAML （专门用来写配置文件的语言）
markdown 的配置使用 Yaml —— Yet Another Markup Language ：另一种标记语言。简介YAML 是专门用来写配置文件的语言，非常简洁和强大，远比 JSON 格式方便。YAML在python语言中有PyYAML安装包。YAML 语言（发音 /ˈjæməl/ ）的设计目标，就是方便人类读写。它实质上是一种通用的数据串行化格式。它的基本语法规则如下：大小写敏感使用缩进表示层级关系缩进时不允许使用Tab键，只允许使用空格。缩进的空格数目不重要，只要相同层级的
2021-01-07 20:03:51
1798
原创 GitHub 搜索技巧
经常会在GitHub上搜索代码、项目或查找相关主题，最简单常用的方法是在GitHub主页搜索框中直接输入相关信息进行查找，在搜索前最好已登录，这样才能在所有公共仓库中搜索code。github 一些搜索地址github的推荐：https://github.com/explore 搜索名人的网址：https://github.com/search 高级搜索：https://github.com/search/advanced 按照趋势搜索：https://github.com/...
2020-12-31 18:42:20
4470
原创 kafka 异常：return ‘＜SimpleProducer batch=%s＞‘ % self.async ^ SyntaxError: invalid syntax
Python3.X 执行Python编写的生产者和消费者报错，报错信息如下：Traceback (most recent call last):File "mykit_kafka_producer.py", line 9, in <module>from kafka import KafkaProducerFile "/usr/local/lib/python3.7/site-packages/kafka/__init__.py", line 23, in <module>
2020-12-22 12:01:13
4935
1
转载 循环神经网络变形之 （Long Short Term Memory，LSTM）
1、长短期记忆网络LSTM简介在RNN 计算中，讲到对于传统RNN水平方向进行长时刻序列依赖时可能会出现梯度消失或者梯度爆炸的问题。LSTM 特别适合解决这种需要长时间依赖的问题。LSTM（Long Short Term Memory，长短期记忆网络）是RNN的一种，大体结构一直，区别在于：LSTM 的‘记忆cell’ 是被改造过的，水平方向减少梯度消失与梯度爆炸 该记录的信息会一直传递，不该记录的信息会被截断掉，部分输出和输入被从网络中删除RNN 在语音识别，语言建模，翻译，图片描述等问题
2020-12-18 17:21:21
5511
转载 markdown语法入门
.md` 是 markdown 文件的文件名后缀。markdown 是一种快速标记、快速排版语言，现在很多前段项目中的说明文件 readme 等都是用markdown文件编写的，而且很多企业也在在鼓励使用这种编辑方式。下面就简单和大家分享一些.md基本语法。
2020-12-17 19:51:22
4279
转载 Python 内置函数之 open (文件操作)
正常的文件操作都分三步走：打开文件，操作文件，关闭文件。python open() 函数用于打开一个文件，创建一个file对象，相关的方法才可以调用它进行读写语法文件句柄 = open(文件名,模式)例如：f = open('abc.txt', 'r', encoding='gbk')r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。 rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。 r+ 打开一个文件用于..
2020-12-17 16:20:55
4153
转载 什么是CI/CD
一、简介CI / CD的采用改变了开发人员和测试人员如何发布软件。最初是瀑布模型，后来是敏捷开发，现在是DevOps，这是现代开发人员构建出色的产品的技术路线。随着DevOps的兴起，出现了持续集成（Continuous Integration）、持续交付（Continuous Delivery）、持续部署（Continuous Deployment）的新方法。传统的软件开发和交付方法正在迅速变得过时。从历史上看，在敏捷时代，大多数公司会每月，每季度，每两年甚至每年发布部署/发布软件。然而，..
2020-12-16 11:06:01
865
转载 python 内置模块 subprocess
一、介绍subprocess模块可以生成新的进程，连接到它们的input/output/error管道，同时获取它们的返回码。二、基本操作方法1. subprocess的run、call、check_call、check_output函数 subprocess.run(args[, stdout, stderr, shell ...])：执行args命令，返回值为CompletedProcess类； 若未指定stdout，则命令执行后的结果输出到屏幕上，函数返回值CompletedPro
2020-12-10 10:27:50
4310
转载 git 报错：Please make sure you have the correct access rights and the repository exists
提示：Warning: Permanently added 'gitee.com,120.55.226.24' (ECDSA) to the list of known hosts.是公钥出问题了，要先设置用户和邮箱再重新生成ssh公钥即可。1、首先我得重新在git设置一下身份的名字和邮箱 进入到需要提交的文件夹底下（因为直接打开git Bash，在没有路径的情况下，根本没！法！改！刚使用git时遇到的坑。。。）git config --global user.name "yourname"..
2020-12-09 14:32:24
3089
原创 kafka 异常：ERROR Failed to clean up log for __consumer_offsets-30 in dir /tmp/kafka-logs due to IOExce
问题概述kafka进程不定期挂掉。ERROR Failed to clean up log for __consumer_offsets-30 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDirFailureChannel)，报错如下[2020-12-07 16:12:36,803] ERROR Failed to clean up log for __consumer_offsets-7 in dir /tmp/kafk.
2020-12-08 11:20:56
5502
转载 Python 自动生成环境依赖包 requirements
一、生成当前 python 环境 安装的所有依赖包# cd 到项目路径下，执行以下命令pip freeze > requirements.txt二、只生成当前 项目 的所有依赖包2.1 安装 pipreqspip install pipreqs2.2执行命令，在当前工程目录生成# cd 到项目路径下，执行以下命令pipreqs ./ --encoding=utf8 --force三、使用 requirements.txt 安装依赖的方式pip install
2020-12-07 10:57:40
4075
转载 前端之 JavaScript 常用数据类型和操作
JavaScript 常用数据类型有：数字、字符串、布尔、Null、Undefined、对象JavaScript 拥有动态类型JavaScript 拥有动态类型。这意味着相同的变量可用作不同的类型var x; // 此时x是undefinedvar x = 1; // 此时x是数字var x = "Alex" // 此时x是字符串数字(Number)JavaScript不区分整型和浮点型（数字可以带小数点，也可以不带），就只有一种数字类型。var
2020-11-20 17:38:39
1354
转载 kafka 自动提交 和 手动提交
Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移（Committing Offsets）。因为 Consumer 能够同时消费多个分区的数据，所以位移的提交实际上是在分区粒度上进行的，即 Consumer 需要为分配给它的每个分区提交各自的位移数据。提交位移主要是为了表征 Consumer 的消费进度，这样当 Consumer 发生故障重启之后，就能够从 Kafka 中读取之前提交的位移值，然后从相应的位移处继续消费，从而避免整个消费过程重来一遍。从用户的角度来说
2020-11-17 19:27:28
11951
1
转载 python-kafka 常用 api 汇总
简介 python连接kafka的标准库，kafka-python和pykafka。kafka-python使用的人多是比较成熟的库，kafka-python并没有zk的支持。pykafka是Samsa的升级版本，使用samsa连接zookeeper，生产者直接连接kafka服务器列表，消费者才用zookeeper。生产者参考API：https://kafka-python.readthedocs.io/en/master/apidoc/KafkaProducer.html#-*-...
2020-11-02 18:48:27
8023
2
转载 kafka 安装
安装 Java 环境在安装 Kafka 之前，先确保Linux 环境上是否有 Java 环境，使用java -version命令查看 Java 版本，推荐使用Jdk 1.8 ，如果没有安装 Java 环境的话，可以按照这篇文章进行安装（https://www.jb51.net/article/169437.htm）安装 Zookeeper 环境Kafka 的底层使用 Zookeeper 储存元数据，确保一致性，所以安装 Kafka 前需要先安装 Zookeeper，Kafka 的发行版自带了..
2020-10-29 10:44:26
4551
转载 kafka 入门
初识 Kafka什么是 KafkaKafka 是由Linkedin公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。Kafka 的基本术语消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。 批次：为了提高效率， 消息会分批次写入 Kafka，批次就代指的是一组消息。 主题：消息的种类称为主题（Topic）,可以说一个主题代表了一类消息。...
2020-10-28 11:35:44
4712
转载 Flask 多线程
# 1.threaded : 多线程支持，默认为False，即不开启多线程;app.run(threaded=True)# 2.processes：进程数量，默认为1.app.run(processes=True)ps：windows 下开启均不生效， linux 下开启生效
2020-10-19 16:08:25
1767
转载 Python 第三方模块之 PDFMiner（pdf信息提取）
PDFMiner简介pdf提取目前的解决方案大致只有pyPDF和PDFMiner。据说PDFMiner更适合文本的解析，首先说明的是解析PDF是非常蛋疼的事，即使是PDFMiner对于格式不工整的PDF解析效果也不怎么样，所以连PDFMiner的开发者都吐槽PDF is evil. 不过这些并不重要。PDFMiner是一个可以从PDF文档中提取信息的工具。与其他PDF相关的工具不同，它注重的完全是获取和分析文本数据。PDFMiner允许你获取某一页中文本的准确位置和一些诸如字体、行数的信息。它包括一
2020-10-10 19:04:26
31821
2
转载 Python 第三方库之 docxtpl (处理word文档)
docxtpl 软件包使用两个主要软件包：python docx，用于读取、写入和创建子文档 jinja2用于管理插入到模板docx中的标记from docxtpl import DocxTemplatetpl = DocxTemplate('test.docx')context = { 'template': '123'}tpl.render(context)tpl.save('test1.docx')...
2020-10-10 18:18:54
19943
16
转载 Python html 代码转成图片、PDF
一、下载1、python的imgkit、pdfkit库pip install imgkitpip install pdfkit2、wkhtmltopdf工具包下载地址：https://wkhtmltopdf.org/downloads.html下载之后安装，安装完成会生成两个程序，分别用来转图片和pdf：二、使用1、转为图片import imgkit path_wkimg = r'C:\Program Files\wkhtmltopdf/bin\wk..
2020-10-10 18:05:53
3249
1
转载 Python html 代码转成 word（docx）
安装sudo apt install pandocpip3 install pypandoc示例代码import pypandochtml = """<h3>This is a title</h3><p><img src="http://placehold.it/150x150" alt="I go below the image as a caption"></p><p><i>This is
2020-10-09 17:28:59
5559
转载 CentOS 安装 php
大致步骤：下载–解压–编译–安装–配置php官网：https://www.php.net/releases/php5.6连接地址http://hk1.php.net/get/php-5.6.36.tar.gz/from/this/mirrorhttp://hk2.php.net/get/php-5.6.36.tar.gz/from/this/mirror1.安装php 所依赖的软件yum -y install gcc gcc-c++ libxml2 libxml2-devel b
2020-09-17 17:00:43
532
转载 CentOS7 安装nginx
1、官网下载安装包官网：http://nginx.org/en/download.html选择适合Linux的版本，这里选择最新的版本，下载到本地后上传到服务器或者centos下直接wget命令下载。切换到/usr/local目录，下载软件包# cd /usr/local# wget http://nginx.org/download/nginx-1.11.5.tar.gz2、安装nginx先执行以下命令，安装nginx依赖库,如果缺少依赖库，可能会安装失败。# yum
2020-09-17 16:19:51
133
转载 Centos7 安装 MySQL
在CentOS7中已经不在支持mysql，就算你已经安装了，CentOS7还是表示很嫌弃。所以本作者建议你改装Mariadb，如果坚持要装MySQL，请绕道，下面放原因。MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可 。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险， 因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。 在存储引擎方
2020-09-17 14:45:58
226
原创 深度学习之循环神经网络(Recurrent Neural Network，RNN)
递归神经网络和循环神经网络循环神经网络（recurrent neural network）：时间上的展开，处理的是序列结构的信息，是有环图 递归神经网络（recursive neural network）：空间上的展开，处理的是树状结构的信息，是无环图 二者简称都是 RNN，但是一般提到的RNN指的是循环神经网络（recurrent neural network）。为什么有bp神经网络、CNN、还需要RNN？BP神经网络和CNN的输入输出都是互相独立的；但是实际应用中有些场景输出内容和之前的内
2020-09-15 19:44:23
14734
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人