Enjolras_fuu的博客

原创 Linux 实战技能100讲笔记

在极客时间买了一门课， 虽然看起来比较基础，但是主要还是想把之前的知识梳理一遍， 然后对之后深入运维和部署这一块做准备。07 第一次启动 Linux普通用户的提示符： $超级用户的提示符： #远程终端： SSH 和 VNCls / 就会看到 Linux 的默认文件夹常见的目录介绍：/ 根目录/root root 用户的家目录/home/username 普通用户的家目录/etc...

原创 pandas 中的时区相关

pytz 库时间序列处理中比较烦的是对时区的处理，尤其是夏令时（DST）转变。许多人都选择以协调世界时（UTC） 来处理时间序列在python中 时区信息来自于 pytz 库。 import datetime import pandas as pd import numpy as np import pytz r1 = pytz.common_timezones[-5:]...

原创 pd 中时间的范围频率以及移动

将时间序列转换为一个具有固定的频率的时间序列只需要调用resample即可：import datetimeimport pandas as pdimport numpy as npdates = [ datetime.datetime(2011, 1, 2), datetime.datetime(2011, 1, 5), datetime.datetime(20...

原创 python中常见的日期处理方式以及对应的 pd 形式以及工具

日期和时间数据类型以及工具在python 中，我们只要会用到 datetime time 以及 calendar 模块datetime 以毫秒形式存储日期和时间datetime.timedelta 表示两个时间对象之间的时间差import datetimedelta = datetime.datetime(2011, 1, 7) - datetime.datetime(2008, 6,...

原创 mongo清理重复数据

描述之前设置唯一索引的时候， 没有设置 unique 选项， 导致数据库中出现了重复数据。 不想 drop 掉重新拉， 就尝试了下数据的清理， 方便之后也可能会用到。参考链接： https://blog.csdn.net/cloume/article/details/74931998参考了这个， 最终决定用 脚本加 命令行 手动实现。清理脚本 import pymongo impor...

原创 mongo 仅 remove 一个数据

原创 使用 pandas 中的方法生成季度点数据

生成 start 和 end 之间的全部季度点列表def gen_all_quarters(start: datetime.datetime, end: datetime.datetime): """ 生成 start 和 end 之间全部季度时间点列表 :param start: :param end: :return: """ idx ...

原创 pandas 时间序列处理

转换为时间对象 import datetime import pandas as pd date = '20170808' pd.to_datetime(date) date = ['2017-6-26', '2017-6-27'] # ok # date = ["20170101", "20180101"] # ok # import datetime...

原创 聚宽数据与mongo数据核对

代码： import sys import datetime import pymongo import pprint import pandas as pd import jqdatasdk as jqsdk # 聚宽数据 jqsdk.auth(' ', ' ') # 申请聚宽数据账号 df1 = jqsdk.get_price("002694.XSHE", star...

原创 mac 环境配置记录

清理一下笔记本， 看到了很多之前写的东西，不是完全准确，仅供参考，欢迎交流…mac 环境配置记录安装homebrew/usr/bin/ruby -e “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)”https://juejin.im/post/5b42cbb15188251ab...

原创 关于千万级别 set 的去重

REFhttp://hunkshi.github.io/2015/06/09/2015-06-09-python-huge-set-operation/场景需要分别从 mysql 和 mongodb 中取出 id，比较两者的差异。将已经不存在与 mysql 中的 id 从 mongodb 中删除问题在使用 set 的时候内存占用过大, 在使用 np.setdiff1d(s, t, ass...

转载 股票的区分： 什么是 A股，B股，H股，N股？

我国上市公司的股票有A股、B股、H股、N股和S股等的区分。这一区分主要依据股票的上市地点和所面对的投资者而定。REFhttps://zhuanlan.zhihu.com/p/30461955https://jingyan.baidu.com/article/a3aad71ae89dacb1fa00966b.htmlA 股1、A股的正式名称是人民币普通股票。它是由我国境内的公司发行，供境内...

原创 生成 百万级别 mysql 测试日志

以下语句是进入 mysql 终端执行：这一句的意思是改变终端的结束符号：DELIMITER //建表：CREATE TABLE `person` ( `id` bigint(20) unsigned NOT NULL, `username` varchar(100) NOT NULL, `hobby` varchar(100) NOT NULL, `age` tinyin...

原创 requests & No connection adapters were found for...

测试本地接口 127.0.0.1:8899/api/strategies?token=776ed74c99cefe962e8efa59a30ee79a182876ef，发现报错：但可以在浏览器中打开…原因是没有加 协议 …浏览器是自动加协议的 …应该去请求： http://127.0.0.1:8899/api/strategies?token=776ed74c99cefe962e8efa...

原创 docker 网络

随机端口映射查看一下：查看新容器的 ip：bridge模式host 模式container 模式host可能原因：https://docs.docker.com/network/host/

原创 （3）nginx 反向代理与负载均衡

什么是代理简单来说，我找一个中间人，代替我去做一件事情，只要他给我结果就可以。代理的分类代理一般分为两种:正向代理、反向代理正向代理正向代理-为局域网客户端向外访问Internet服务。可以使用缓冲特性减少网络使用率。正向代理-必须采取安全措施确保内网客户端通过它访问外部网站。隐藏客户端的身份。反向代理反向代理-为局域网服务器向外提供Internet服务。可以使用负载平衡提高客...

原创 对于 docker-machine 的理解以及在 docker-swarm 中使用 python 针对于 docker 的 SDK

环境搭建问题在 https://blog.csdn.net/Enjolras_fuu/article/details/89244113 中我们搭建了一个单机的 docker swarm环境， 退出这个集群之后，执行docker servise ls(base) furuiyangdeMacBook-Pro:SwarmSense-IoT-Platform furuiyang$ docker se...

原创 macOS 系统下 docker-machine 的安装和单机集群环境的构建

refhttps://stackoverflow.com/questions/42079458/how-to-run-docker-machine-create-in-os-xhttps://github.com/machine-drivers/docker-machine-driver-xhyvehttps://asciinema.org/a/29930https://docs.dock...

原创 Docker compose

任务编排介绍场景:我们在工作中为了完成业务目标，首先把业务拆分成多个子任务，然后对这些子任务进行顺序组合，当子任务按照方 案执行完毕后，就完成了业务目标。任务编排，就是对多个子任务执行顺序进行确定的过程。常见的任务编排工具单机版:docker compose集群版:Docker swarm —> DockerMesos —> Apachekubernetes...

原创 rqalpha

关于 talib 的安装https://mrjbq7.github.io/ta-lib/install.html关于 line-profiler 安装失败https://stackoverflow.com/questions/24215492/pip-install-line-profiler-fails未成功 先放着流程(1)首先传入一个yml格式的配置文件：config.yml(...

原创 《Linux命令速查手册》笔记

基础命令lsls -R 类似于 tree，查看其下多个子目录的内容。ls --recursive ， 用法同上 ， 在macos中没有这个用法。ls -m 以逗号分割的列表显示内容ls -a 显示所有文件，包含隐藏文件。这时候我们可以看到 . 和 …. 代表当前目录， … 代表上一级目录，这两个隐藏文件在系统的每个文件夹中都存在，不能删除。ls -F 显示文件的更多信息。具体会告...

原创 docker容器时间和主机时间不一致的解决方案

查看时间查看主机时间：[furuiyang@lianghua-hw-gz-124 logs]$ dateWed Mar 27 09:58:41 CST 2019查看容器时间：[root@4249ba0f6c7a logs]# dateWed Mar 27 01:59:02 UTC 2019共享主机的 localtime创建容器时指定启动参数，挂载 localtime 文件到容器...

原创 简单移动平均线（Simple Moving Average，SMA) 定义及使用

REFhttps://wiki.mbalib.com/wiki/简单移动平均线https://www.ricequant.com/community/topic/278/什么是简单移动平均线简单移动平均线（SMA）又称“算术移动平均线”，是指对特定期间的收盘价进行简单平均化的意思。一般所提及之移动平均线即指简单移动平均线(SMA)。简单移动平均线沿用最简单的统计学方式，将过去某特定时间内...

原创 rqalpha：多种方式运行策略

REFhttps://rqalpha.readthedocs.io/zh_CN/latest/intro/run_algorithm.html下载策略示例文件夹首先获取回测数据：$ rqalpha update-bundlebundle 默认存放在 ~/.rqalpha 下，也可以指定 bundle 的存放位置：$ rqalpha update-bundle -d target_bu...

转载 rqalpha： conda常用命令

conda listconda list ：查看安装了哪些包conda env list 或 conda info -econda env list 或 conda info -e： 查看当前存在哪些虚拟环境conda update condaconda update conda： 检查更新当前conda创建新的虚拟环境conda create -n your_env_name...

原创 rqalpha : 在 pycharm 中运行策略

配置参考： http://rqalpha.io/zh_CN/latest/intro/under_ide.htmlhttp://rqalpha.io/zh_CN/latest/intro/run_algorithm.html但是我的虚拟环境中 rqalpha 的位置是：

转载 安装 rqalpha

https://blog.csdn.net/lihao21/article/details/85386265https://github.com/ricequant/rqalpha/issues/410https://github.com/rkern/line_profiler/issues/132

原创 python 类方法

在实现类方法的时候 传入的第一个属性 都是类实例 而不是对象实例…

原创 Python黑魔法--异步IO（asyncio）协程 （三）

接： https://blog.csdn.net/Enjolras_fuu/article/details/83869864不同线程的事件循环很多时候，我们的事件循环用于注册协程，而有的协程需要动态的添加到事件循环中。一个简单的方式就是使用多线程。当前线程创建一个事件循环，然后在新建一个线程，在新线程中启动事件循环。当前线程不会被block。import timeimport asynci...

原创 python – 将树列表转换为层次结构dict

创建测试用例class Node: def __init__(self, parent, name): self.parent = parent self.name = name# 创建一个根节点对象root = Node(None, "root")# 根节点下有 三个子节点node1 = Node(root, "node1")node2 = ...

原创 重写 dict get() 方法

class Local(dict): def get(self, key): try: return dict(self[key]) except KeyError: raise exceptions.ResourceError("no such user")local = Local()

原创 字典键值存在判断

根据字段中存在的键值对的情况为某个变量赋值，之前的写法：其实可以直接使用 or 这么写：

原创 创建centos docker环境运行python脚本

1.拉取最近的centos镜像：docker pull centos2.跑一个容器：docker run -itd --privileged --name centos_as2 -v /home/furuiyang/async:/home/furuiyang/async centos /usr/sbin/init3.进入容器中：docker exec -it centos_as2 /...

转载 （2） Nginx 配置

Nginx 软件目录工作目录： /etc/nginx执行文件: /usr/sbin/nginx日志目录:/var/log/nginx启动文件:/etc/init.d/nginxweb目录:/var/www/html/，首页文件是index.nginx-debian.html/usr/share/nginx/html/ 首页文件是index.htmlNginx 配置文件nginx配置...

转载 （1）Nginx 部署

安装 Ngnix 软件yum install -y build-essential libssl-dev libtool libpcre3 libpcre3-dev make openssl zlib1g- devyum install nginx -y服务相关命令systemctl start nginx # 开启服务 systemctl stop nginx # 关闭服务sys...

转载 在python项目中生成requirements.txt文件

前言我们为什么要使用requirements.txt呢？主要使用目的：任何应用程序通常需要设置安装所需并依赖一组类库来满足工作要求。要求文件是指定和一次性安装包的依赖项具体一整套方法。requirements.txt文件格式：requests==1.2.0 Flask==0.10.1...这样我们就可以安装requirements.txt依赖pip install -r req...

转载 在python程序中调用shell命令

通过os模块创建子进程运行外部程序 方法只是返回外部程序的运行结果import osprint(os.system("ls"))通过 popen 方法popen 方法不仅仅返回结果 还返回一个类文件对象。通过调用该对象的read() 或者是 readlines() 方法可以读取输出内容。os.popen(command,mode)举例：import osoutput = o...

转载 Mac 使用 Navicat连接 localhost 报错：2059 - Authentication plugin 'caching_sha2_password' cannot be loaded

问题描述使用 navicat 连接本地mysql服务的时候报错：2059 - Authentication plugin ‘caching_sha2_password’ cannot be loaded: dlopen(…/Frameworks/caching_sha2_password.so, 2): image not found截图：解决终端登录 mysql，执行下面的命令：A...

转载 Linux 下的用户管理、用户组管理和权限管理

转载：https://cuiqingcai.com/6284.htmlhttp://www.runoob.com/linux/linux-user-manage.html基本概念在 linux 系统中，有用户和用户组的概念。用户就是身份的象征，我们必须以一个用户身份来操作一个系统，实际上这就对应着我们登录系统时的账号。而用户组就是一些用户的集合，我们可以通过用户组来划分和统一管理某些用户。...

转载 mysqldump --master-data参数说明

mysqldump --help--master-data[=#] This causes the binary log position and filename to be appended to the output. If equal to 1, will print it as a CHANGE...