python
文章平均质量分 57
感性企鹅
数据驱动决策
展开
-
python-jupyterhub通过docker方式安装
背景在python的开发中,经常会用到jupyter notebook,脚本都是写在本机的,这点难以协同开发。本博客将阐述jupyterhub的安装,方便在服务器上写jupyter。安装过程参考:https://jupyterhub.readthedocs.io/en/stable/quickstart-docker.html提前安装docker,步骤略。使用如下命令进行下载并且启动镜像...原创 2020-03-13 16:30:21 · 2029 阅读 · 0 评论 -
数据挖掘-pandas-读取mysql
背景pandas经常用来读取不同数据源的数据进行分析,本博客实战读取mysql的结构化数据。实战依赖模块:import pandas as pdfrom sqlalchemy import create_engineengine = create_engine('mysql+pymysql://szy:yP0tfUTHvP5q@alpha-mysql.szy.com:3306/dbar...原创 2020-02-13 10:18:01 · 209 阅读 · 0 评论 -
python-疑难杂症-zadd报错
错误复现正常使用zadd报错r = redis.StrictRedis(host=xxxxx)d = dict()d['1231'] = 123r.zadd(d)redisError: ZADD requires an equal number of values and scorespython版本:3.6.1错误定位在另外一个环境3.6.5,运行代码,正常。 说明是版本问题...原创 2020-02-10 11:55:03 · 1951 阅读 · 0 评论 -
python-在python中实现java的hashCode函数
背景今天有个需求,需要用python实现java的hashCode分表。本博客将把这个操作记录下来,以免以后重复造轮子。实现def hash_code(s): h = 0 if len(s) > 0: for item in s: h = 31 * h + ord(item) return h ...原创 2020-01-29 20:23:42 · 2817 阅读 · 0 评论 -
机器学习-使用gbdt生成高维特征
背景现在比较流行的ctr预估是gbdt+lr的方法:gbdt进行连续特征的离散化,省去了人为分桶的过程,既提高了效率,又提高了准确率lr,进行最终的特征训练,进行ctr预估本文将阐述如何使用python的sklearn提取高维特征实战import numpy as npfrom sklearn.preprocessing import OneHotEncoderfrom skl...原创 2020-01-09 12:28:00 · 544 阅读 · 0 评论 -
效率提升-python代码补全插件kite
背景平常用python的时候非常多,提升python的编码效率成为重中之重。博主偶然间看到一个python的代码补全工具,kite,据说能很好的提高编码效率,那么本博客将对其进行尝试。简介官网,https://kite.com支持数个ide,博主比较喜欢用的pycharm也支持支持linux版本,博主使用的是deepin 15.2安装与测试根据官网介绍直接用命令安装即可。参考...原创 2019-12-26 19:43:40 · 2795 阅读 · 0 评论 -
python-疑难杂症-pyenv中的python不能使用tkinter
背景博主是deepin的linux系统,在使用matplotlib进行绘制的时候,出现以下报错:Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure本文将对其进行解决问题分析提示为non-gui,一些资料中提到是tkinter的问题。博主使用的pyenv,在这个p...原创 2019-12-13 20:55:20 · 344 阅读 · 0 评论 -
python-支持库走读(numpy+线性代数)
背景在使用python做机器学习的时候,numpy使用的频率极高,工欲善其事必先利其器,本博客将走读一下numpy。安装pip install numpy结合概念编码实战标量、向量、矩阵和张量的numpy表示操作普通操作內积(与卷积)內积(又名点积),专门用于提取特征。卷积是移动的内积。做卷积的意义是变换特征空间。内积作用是提取我想要的特征。内积是向量在某个特征(向量...原创 2019-10-18 15:29:25 · 205 阅读 · 0 评论 -
python-疑难杂症-python3支持bz2(Ubuntu+python3+pyenv+bz2)
背景疑难杂症系列,专门解决工程中遇到的疑难杂症。出现的问题>>> import pandasTraceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/wang/.pyenv/versions/3.6.8/lib/python3.6/s...原创 2019-10-15 18:11:42 · 1024 阅读 · 0 评论 -
python-疑难杂症-python3支持sqlite3(Ubuntu+python3+pyenv+sqlite3)
背景疑难杂症系列专门纪录在python使用过程中的一些小问题,不谈原理只谈使用。安装Ubuntu安装底层库支持sudo apt-get install libsqlite3-devpyenv重新安装pythonpyenv uninstall 3.6.8pyenv install 3.6.8测试pyenv local 3.6.8python -c "import sqlite3"...原创 2019-10-14 17:10:56 · 462 阅读 · 0 评论 -
深度学习-数据增强(keras+PIL)
背景有朋友在进行yolo的训练过程中遇到了数量量不够的情况,毕竟标注数据是实在太困难,另外真实场景的数据也不是那么容易获得。那么该如何缓解这种窘境呢?答案就是数据增强。数据增强方案合成增强,假如你想识别的是一个死的物体,比如煤气罐。。而你又不想自己在各种场景下去拍照制作训练数据,那么进行数据合成算是一个思路。如果是猫狗这种动物的话,最后还是老老实实的收集数据图像变换,利用keras,对图...原创 2019-09-09 11:56:11 · 998 阅读 · 2 评论 -
数据收集-爬虫技术(python+scrapy+centos抓取股票公告并入库)(废弃:目标网站已改版,暂不可用)
背景爬虫技术是索取互联网信息主要手段,一直想接触,但并没有实体项目。近期偶尔关注股票,一位朋友非常强调每个公司的公告信息的重要性,甚至在短期内极度影响一直股票的走势。所以,自己基于scrapy+python实现了一个小爬虫,目标是爬取股票公告,并入库,以待以后的机器学习分析。概要设计功能描述爬虫服务爬取目标网站数据(包括翻页之后的数据)将数据进行入库操作模块设计详细设计目标...原创 2019-07-15 14:16:03 · 1606 阅读 · 4 评论