- 博客(74)
- 收藏
- 关注
RSS订阅原创 linux下 安装企业微信
以下步骤在ubuntu 18.04环境下测试1.安装 Deepin-Wine 环境:1.1 把 Deepin-wine-for-ubuntu Git 仓库的内容克隆到本地： git clone https://github.com/wszqkzqk/deepin-wine-ubuntu.git cd deepin-wine-ubuntu1.2安装： chmod +x ./install_2.8.22.sh sudo ./install_2.8.22.sh2.安装 De.
2020-10-22 16:23:20
5834
2
原创 linux键盘映射修改
linux 键盘映射修改1. xmodmapxmodmap -pke | grep -i tab 查看相应按键的键码值（keycode）xmodmap -pke | grep -i 1 查看全部的键码值vim ～/.Xmodmapremove Lock = Caps_Lockremove Control = Control_Lkeysym Control_L = Caps_Lock...
2019-12-03 11:12:56
669
原创 celery-分布式任务队列
Celery 是一个简单的、灵活且可靠的，处理大量消息的分布式系统，并且维护这样一个系统的必要工具。我们需要什么？发送者(sender)，接收者（broker） ，工作者（worker）最简单的应用from celery import Celeryapp = Celery('hello', broker="amqp://guest@localhost//") @app.ta...
2019-06-20 10:24:15
252
转载 Docker启动Get Permission Denied(转)
Docker启动Get Permission Denied 以下问题及解决方法都在Ubuntu16.04下，其他环境类似问题描述 安装完docker后，执行docker相关命令，出现”Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker....
2018-07-15 17:32:15
754
原创 爬虫_review
大纲爬虫原理与数据抓取非结构化数据与结构化数据提取动态HTML处理和机器图像识别Scrapy框架Scrapy-redis分布式组件爬虫原理与数据抓取可选择的IDE和编辑器 IDE:Pycharm, Spyder, Visual Studio编辑器：Vim, Sublime Text, Atompython 版本：基于python2.7的稳定版爬虫按照一定的...
2018-06-10 22:01:42
659
原创 Project-iHome_review
大纲项目初始化登录注册用户信息房屋信息订单模块项目初始化项目分析Ihome基于移动端的出租寻租的房屋o2o房屋平台项目 。主要目标是位用户提供租房，寻租的一个平台基于Flask框架，以前后端分离的形式实现具体功能业务，前后端交互的数据主要使用JSON 后台接口值否则提供响应数据，前端页面负责展示数据和效果项目的各接口设计符合RESTfulAPI风格...
2018-06-08 21:31:19
1113
原创 Flask_review
大纲Flask基础模板数据库其他Flask基础web应用程序的核心：请求《-》响应为什么要使用框架？ web网站发展至今，特别是服务器端，涉及到的知识，内容，非常广泛。这对程序员的要求会越来越高。如果采用成熟，稳健的框架，那么一些基础的工作，比如，安全性，数据流控制，都可以让框架来处理，那么程序开发人员可以把精力放在具体的业务逻辑上面，使用框架的优点：稳定性和可扩...
2018-06-08 10:01:06
573
原创 Project-DailyFresh_review
开发流程项目介绍天天生鲜项目是一个表b2c的电商网站，售卖海鲜产品。用户可以完成从注册登录，浏览商品页面，查看商品详情页面，评论，将商品添加到购物车，完成购买，查看个人中心等一系列操作，是一个具备完整功能的电商网站。用户访问流程 域名->Nginx服务器->UWSGI服务器->网页内容 模块 用户模块 实现的页面： register.html：注册页面...
2018-06-06 11:13:35
540
原创 Tensorflow_2
概要文件IO操作神经网络文件IO操作分类 图像IO操作二进制文件IO操作TFRecords文件IO操作 文件IO操作流程 1.读取 文件名到队列2.读取文件内容3.解码4.批处理图像数字化三要素 长度，宽度，通道数 示例：狗图片读取案例import tensorflow as tfimport osdef read_dog(file_...
2018-06-02 22:24:54
212
原创 Tensorflow_1
概览认识TensorflowTensorflow基础Tensorfplw进阶使用Tensorflow实现线性回归的实例认知Tensorflow人工智能，机器学习，深度学习的关系人工智能是一种探究人类的智能活动的机理，用研究得出的理论，方法，技术，去构建智能体，这种智能体有着与人类相似的智能效果，能够像人类一样思考和行动，并进一步提升人的智能。机器学习是人工智能的实现手段...
2018-05-31 22:07:46
229
原创 量化交易_4
概要选股的时候需要有权重的参考来选择，所以确定权重也是最终进行选股的依据确定权重的方法： 打分法选股策略回归法选股策略模拟交易多因子策略的流程1.准备数据，确定因子所需数据2.单因子的有效性分析3.多因子组合4.确定因子权重5.确定股票池，以排序选股6.确定调仓周期7.计算组合业绩打分法选股策略将不同股票的相同因子按照它们的升序/逆序排列起...
2018-05-30 21:26:40
1150
原创 Django_review
入门MVC,MTVMVC 和 MTV都是框架。MVC:M:model,与数据库的增删改查相关的；V,View,视图：和页面呈现相关的，(js，css,html)；c,controler,控制器，业务逻辑处理相关的，函数MTV：基于MVC的，将C的一部分 功能内置化，剩余的功能和V复合后再拆分，其中跟模板，数据库相关的就是MTV中的M，跟页面呈现相关的形成了MTV中的T，跟业务逻辑相关...
2018-05-29 16:19:40
296
原创 量化交易_3
概要单因子IC分析单因子收益率分析构建因子测试框架构建单因子回测框架多因子相关性分析多因子合成方法单因子IC分析因子的IC分析：判断因子与收益的相关性强度IC：某一期的IC是指该期因子暴露度和股票下期的实际回报值在横截面上的相关系数一个因子的IC就是因子与收益率的相关强度计算过程：使用斯皮尔曼相关系数，取值在[-1,1] 0表示该因子与收益率不相关（0...
2018-05-28 22:10:21
1101
原创 数据结构&算法入门
数据类型和算法的简介什么是数据结构与算法数据结构是存储，组织数据的方式算法是完成一个目标的方法和思路为什么要学数据结构与算法？公司的核心价值点起始与数据，数据可以预判趋势，指导方向，解决实际问题，掌握了公司的数据，就掌握了公司运营和发展的命脉是做技术的基础中的基础，是高技术人才的必备能力装逼利器简介什么是数据结构，什么是算法，他们之间的关系，抽象...
2018-05-27 21:51:07
782
原创 量化交易_2
内容概要alpha因子与beta因子多因子策略的理论基础多因子策略流程多因子策略的数据处理alpha因子与beta因子一个投资策略的收益率可以分解为两个部分跟市场走向相关，相关度用beta系数表示。beta可以称作这个投资组合的系统风险 beta得到相对容易beta就是有市场行情及时跟上，有风险时候及时躲避，通过水涨船高的方式获得收益 跟市场走向无关，属于超额回...
2018-05-27 21:45:46
974
原创 量化交易_1
量化交易量化交易基础框架介绍策略编写量化交易基础量化交易：量化交易是指借助现代统计学和数学方法，利用计算机技术来进行交易的证券投资方式。量化交易的分类 按照投资技术分类 趋势性交易市场中性高频交易 按照金融产品分类 股票期货量化交易历史：产生与上世纪60年代，兴起于70-80年代，繁荣于90年代。中国因为90年代才开市，所以2010年之后才兴起起来。量...
2018-05-26 01:03:15
2707
原创 ml_3
tips1.线性回归2.回归性能评估3.过拟合与欠拟合4.岭回归5.模型的保存与加载6.逻辑回归7.分类性能评估8.聚类算法-kmeans9.聚类性能的评估线性回归利用回归方程对一个或者多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式通用公式：h(w)=w1x1+w2x2+w3x3+...+b=w^Tx + b矩阵乘法：A(m,n)*...
2018-05-24 23:41:55
228
原创 ml_2
内容 转换器与预估器KNN算法模型选择与调优朴素贝叶斯算法决策树与随机森林转换器与预估器特征工程流程1.实例化一个转换器类（transformer）2.调用transformer.fit_transform()方法fit():计算，transform():利用fir()计算的结果进行后续转化预估器是一类实现了算法的API。将预处理好的数据交给预估器，就可...
2018-05-23 15:50:34
317
原创 特征工程
机器学习概述机器学习是什么机器学习的算法分类机器学习的开发流程机器学习是什么机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测类比人学习的过程数据的结构 特征值+目标值有些数据可以没有目标值机器学习算法分类监督学习分类：目标值是类别的k-近邻算法，贝叶斯分类，决策树与随机森林，逻辑回归，神经网络回归：目标值是确定的...
2018-05-21 23:26:42
427
原创 金融数据分析与挖掘_2
股票序列分析趋势追踪 根据股票之前的价格走向趋势，去预示之后的价格走向趋势TA-Lib技术指标库 MACDATR指标RSI指标TA-Lib技术指标库MACD指数平滑异同移动平均线用于研判股票价格变化的强度，方向，能量，以及趋势周期，以便把握股票买进和卖出的时机算法：1、计算移动平均值（EMA）12日EMA的算式为EMA（12）=前一日...
2018-05-19 15:27:29
457
原创 金融数据的分析与挖掘
K线图的绘制股票的每日价格走势图每日价格的形态绘制K线图matplotlib.finance.candlestic_ochl(axes, data, width=0.5, colorup="r", colordown=‘g’)data必须是一个包含ochl和0-n索引值的数组 K线图的转换pandas重采样数据DateFrame.resample(rule, h...
2018-05-18 20:30:41
894
原创 前端_review
html,css超文本标记语言，是一种标签语言由单独的或者成对的标签组成文本编辑器打开就是一些标签文本，浏览器打开会渲染成网页<!DOCTYPE html><html> <head> <meta charset="UTF-8">
2018-05-17 22:01:24
759
原创 linux_review
科普linux发展： 第一个成型的系统叫Unix,1970年linux是Unics系统发展中的一个私生子,1991年。MacOS是一脉相承的linux的版本 内核版：最底层，最基础的功能，如对磁盘，打印机的操作，是硬件和应用软件的抽象层发行版：在内核版的基础上，增加了如媒体播放器，文本编辑器等应用程序的，可以生产工作，娱乐的版本常见的发行版本 ubuntucentosred...
2018-05-16 16:53:35
244
原创 pandas_2
使用pandas也可以画图plot方法 -data.cumsum().plot(),plt.show()pandas读取数据常用的数据类型是 .csv，.h5（hdf5）读取.csv文件:pandas.read_csv(文件路径，sep=',', name=列索引名子(默认None)，usecols=指定读取的列名(默认None))读取.h5文件：pandas.read_hdf(...
2018-05-16 15:49:36
219
原创 python高级_review
迭代器，生成器迭代器，能被for遍历的对象，叫迭代对象实际上，真正被迭代的是一个迭代器可迭代对象能生成迭代器，实际上是一个调用了__iter__()和__next__()方法的对象（python2是__iter()）特点：保存执行流程就行了，不用将遍历的数据都存储起来，节省（内存）空间例子：斐波那契数列迭代器class FibIterator(object): d...
2018-05-15 19:13:42
884
原创 pandas
pandas基于Numpy和matplotlib的用于数据分析的库和Numpy的区别是能更好的完成一些Numpy不好完成的工作，如numpy中的缺失值nan的处理为什么学？1.以上2.可以存储，处理字符串类型的数据 3.对于数据量没那么大的情况(几十G，甚至1-2T)，不必使用Hadoop和Spark,杀鸡焉用牛刀，pandas就可以很好的解决 核心Series：...
2018-05-15 15:28:35
244
原创 matplotlib.pyplot绘制不同图型&Numpy
不同的图形的应用场景折线图显示数据的变化，趋势如，温度随时间的变化plt.plot(a,b)条形图（柱状图）显示数据之间的大小比较如,电影院每天排片的所有电影的票房比较plt.bar(a,b)直方图反应数据在不同的范围内的分布 如，一个班级里的身高在(1.6-1.65;1.65-1.7;1.7-1.75;1.75-1.8)这几个范围内的分布plt.hist(a...
2018-05-13 18:01:48
2001
原创 数据分析 matplotlib.pyplot 模块 简单使用
jupter notbook ； matplotlib什么是数据挖掘对大规模数据进行自动或者半自动化的分析，得到之前不知道的有价值的潜在信息举个例子：从共享单车的客户使用信息得到国庆节前后，单车使用量的趋势变化为什么要学公司可以根据现有数据或者购买的数据获得潜在的价值信息，指导之后的经营方向，制定更加稳健的经营计划一直数据挖掘都是存在的，为什么近两年才火？数据挖掘...
2018-05-12 21:27:04
792
原创 python基础_review
编程语言：编程语言是控制可以直接或者间接控制计算机来执行任务的字码。 c /c#/c++/java/lua/python/Shell/go…python简介：python是最近比较受欢迎的编程语言是一种解释性的语言，一边编译，一遍执行。解释器有CPython（官方），Jpython（可以运行在java 平台上），IronPython(可以运行在.NET和Mono平台)，PyP...
2018-05-09 17:10:04
1049
转载 nginx无法启动: libpcre.so.1/libpcre.so.0: cannot open shared object file解决办法
NGINX启动时提示错误/usr/local/nginx/sbin/nginx -t/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such file or directory查看错误详情...
2018-05-05 17:10:22
1099
转载 day075 SHELL_流程控制&代码发布
awk命令强大的文档编辑工具，可以以行也可以以列来标记文档格式awk 参数 ‘动作’ 文档常用参数-F :指定行的分隔符常用动作print :显示内容$0,表示当前行的所有看列$n，表示当前行的第n列示例：模板文件 01_awk.txtnihao awk1 awk2 awk3nihao awk4 awk5 awk61.输出第一...
2018-05-04 00:31:09
143
转载 day074 SHELL入门及进阶
SHELL快速入门学习目标了解运维和自动化运维是什么及工作实现方式记住shell是什么，说出shell的两分类知道shell脚本的特点是什么运维运维是什么？运维是公司的一个技术岗位，负责程序的规划，管理，安全，优化等方面的工作运维的工作范围以dailyfresh项目为例：规划：我们需要多少资源来支持项目的运行管理：项目运行过程中的...
2018-05-03 00:05:23
217
原创 day073 项目_IT橘子爬虫
今天，做了一个爬虫的新项目——IT桔子(www.itjuzi.com/company)的信息爬取.IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息提供商IT桔子致力于通过信息和数据的生产、聚合、挖掘、加工、处理，帮助目标用户和客户节约时间和金钱、提高效率，以辅助其各类商业行为，包括风险投资、收购、竞争情报、细分行业信息、国外公司产品信息数据服务等。所以IT桔子网...
2018-04-26 20:09:32
3574
3
原创 day072 项目_AQI
今天是一个项目——www.aqistudy.cn 全国空气质量历史数据存储的网站的爬取。 使用spider爬取，分别存储为json文件，csv文件，存储到mongoDB中，redis数据库中；使用crawl_spider爬取；scrapy-redis分布式,spider爬取及crawl_spider爬取；spider爬取步骤：确认目标数据-爬取每天的历史数据...
2018-04-26 00:26:38
369
1
转载 day050 dailyfresh_项目总结
目录：用户访问流程模块剖析用户模块商品模块购物车模块订单模块部署后端服务提供一、用户访问流程：说明： 用户访问nginx代理服务器进入天天生鲜服务器，以上图为例。nginx代理服务器IP为192.168.103.129，服务端口80。天天生鲜服务器IP为192.168.103.1，服务端口8090。用户优先进入商品主页。通过商品主页作为入口，可以...
2018-04-23 21:36:50
1150
原创 day71 Charles&scrapyd&scrapy-redis
今天讲抓包工具的charles的使用；一个示例:斗鱼图片的直播间图片的抓取并且存放在MongoDB中；爬虫项目的远程部署及使用scrapy-redis模块进行分布式爬虫。CharlesCharles是一个Mac端用来抓取手机端数据包的工具，相当于在windows中的fidder.使用步骤为： 1. 下载安装软件 2. 绑定软件端的端口号，默认为8888 3. 设置mac为...
2018-04-23 20:57:33
333
原创 day070 CrawlSpider
CrawlSpider的基本使用，Request,Response,DownloadMiddlewares,SettingsCrawlSpider所有自定义的spider爬虫类都会继承scrapy.Spider类，Spider是最基本的类CrawlSpider是Spider类的拓展类CrawlSpider类跟Spider类相比，多了一个Rule类，这个类用来匹配获取页面中的链接的...
2018-04-23 01:12:07
291
原创 day068 多任务爬虫&Selenium+PhantomJS&Tesseract-OCR
对于具有大量数据的爬虫任务，单进程/线程就会显得捉襟见肘，爬取速度会比较慢，如果需要加快速度，就需要选择多线程/协程 进行处理；如果反爬虫中有对js代码进行加密的时候，一般的爬虫手段都会失效，那么解决的办法有一种就是，直接调用Selenium测试框架控制浏览器进行代码自动发送请求，对返回的真实页面的数据进行解析；在爬虫过程中，如果有验证码图片的时候，对于一般的黑白清晰字码，可以使用tesserac...
2018-04-21 19:20:45
337
原创 day069 Scrapy_base_use
scrapy框架scrapy是一个爬虫框架。由引擎，爬虫程序，调度表，下载器以及管道组成。引擎负责其他四个模块的调度爬虫程序是爬虫的起点，负责生成url以及对下载器下载的response的处理调度表是对传过来的url进行封装，形成request队列下载器负责请求网页，返回数据，以供爬虫程序进行解析管道负责对返回后的item进行存储架构图框架执行步骤爬虫程序提...
2018-04-21 15:30:49
236
原创 day064 RegularExpresion&Xpath
今天是两个文本处理的工具，re(正则表达式)和Xpathrere是遵循一定规则的，能够匹配，处理字符串的字符表达式。它拥有单个字符（.\d,\w,\s…），多个字符(*,?,+…)位置字符（^,$）等能够匹配不同条件下的字符的格式字符和如match(),search(),find(),sub(),split()等在匹配完字符后可以进一步处理数据的方法。使用场景非常广泛，理论上说，...
2018-04-16 21:53:56
194
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人