- 博客(34)
- 收藏
- 关注
RSS订阅
原创 工作中常用到的python数据处理
目录1.获取工作目录和设置工作目录2.获取日期处理3.列表的倒排序4.使用apply处理 两个值的代码5.断言函数 assert6.yield生成器7.获取程序运行时间8.动态生成变量9.数据可持续化操作10.数据运行时间211.创建目录12.删除无用的数据13.字符串格式化14.zip自动生成字典15.各种包的离线下载地址16.路......
2019-06-17 17:53:03
1236
4
原创 Anaconda-- conda 创建、激活、退出、删除虚拟环境
在Anaconda中conda可以理解为一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。所以对虚拟环境进行创建、删除等操作需要使用conda命令。conda 本地环境常用操作#获取版本号conda --version 或conda -V#检查更新当前condaconda update conda#查看当前存在哪些虚拟环境conda env list 或 con...
2019-06-15 18:58:51
157824
18
原创 在python脚本中执行Linux命令行
常用模块import osimport subprocessos.system('free -h')subprocess.call('top')
2019-06-13 14:24:10
7373
原创 Docker容器和本机之间的文件传输
1.获取容器的containerid获取Docker 虚拟机的完整ID的方法：docker inspect [容器id的缩写] | grep Id结果如下：data01@localhost ~]$ docker inspect 56f2 | grep Id"Id": "56f2a1e4d3468561809231128d9ab04582edd9be65165e913bc0c...
2019-06-28 10:37:41
253
原创 Docker基础学习指南
Docker简介Docker是开源应用容器引擎，轻量级容器技术。 基于Go语言，并遵循Apache2.0协议开源。 Docker可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux系统上，也可以实现虚拟化。 容器完全使用沙箱技术，相互之间不会有任何接口。 类似于虚拟机技术(vmware、vitural)，但docker直接运行在操作系统(Li...
2019-06-28 10:23:51
167
原创 docker 的三组件：镜像、容器、仓库的解释
Docker是开源的一个基于轻量级虚拟化技术的容器引擎项目。它通过分层镜像标准化和内核虚拟化技术，使得应用开发者和运维工程师可以以统一的方式跨平台发布应用，并且以几乎没有额外开销的情况下提供资源隔离的应用运行环境。我们目前知道的云服务是基于操作系统级别的隔离，在同一台物理机器上虚拟多个主机，而docker的实现是直接将操作系统环境和应用进行移植。 学习使用docker...
2019-06-27 14:18:03
358
3
原创 AttributeError: module 'pandas' has no attribute 'core'
环境：CentOS Linux release 7.4.1708 (Core)Ananconda3运行python终端，在导入tensorflow时报出错：AttributeError: module 'pandas' has no attribute 'core'但是运行ipython终端，导入tensorflow时没有报错。只需要更新pandaspip insta...
2019-06-26 09:13:38
4641
1
转载 推荐系统评估
原创：gongyouliu大数据与人工智能目录1.推荐评估的目的2.评估推荐的常用指标1.用户的维度2.平台方的维度3.推荐系统自身维度4.标的物提供方的维度3.推荐系统的评估方法1.离线评估2.在线评估3.主观评估4.推荐系统评估需要关注的问题写在最后作者在上篇文章《推荐系统的工程实现》中提到推荐系统要很好地落地到业务中，需要搭建支撑...
2019-06-21 15:29:09
667
原创 经典推荐算法实现
目录1.基于ItemCF算法2.基于UserCF算法3.基于时间上下文的个性化推荐4.基于LFM算法的个性化推荐5.基于图的推荐算法1.基于ItemCF算法#!/usr/sbin/env python# -*- coding:utf-8 -*- import math # ItemCF算法def ItemSimilarity(train): ...
2019-06-20 09:49:13
1405
原创 怎样利用遗忘曲线来进行有效复习？
遗忘曲线由德国心理学家艾宾浩斯(H.Ebbinghaus)研究发现，描述了人类大脑对新事物遗忘的规律。人体大脑对新事物遗忘的循序渐进的直观描述，人们可以从遗忘曲线中掌握遗忘规律并加以利用，从而提升自我记忆能力。该曲线对人类记忆认知研究产生了重大影响。哈，是不是有点蒙圈，我们还是来看一下遗忘曲线本尊和李老师给出的白话解释，见图一图一也就是说呢，我们在学习了一个新事物以后并不是平均...
2019-06-19 17:38:52
2426
转载 推荐系统的工程实现
原创：gongyouliu大数据与人工智能目录1.写在前面2.推荐系统与大数据3.推荐系统业务流及核心模块4.推荐系统支撑模块5.推荐系统范式6.推荐系统架构设计7.推荐系统工程实现的设计哲学8.近实时个性化推荐9.推荐系统业务落地需要关注的问题10.推荐系统的技术选型11.推荐系统的未来发展12.结语1.写在前面作者在上篇文...
2019-06-19 17:31:18
1529
转载 推荐系统介绍
推荐系统的评估：https://mp.weixin.qq.com/s/zBUy_k2lyK0mqMMxm01w6w目录一，推荐系统产生的背景二，推荐系统解决什么问题三，推荐系统的应用领域四，推荐系统的定义五，常用的推荐算法六，构建推荐系统的阻碍与挑战七，推荐系统的价值一，推荐系统产生的背景随着移动互联网的快速发展，我们进入了信息爆炸时代。当前通过互联网...
2019-06-19 17:06:43
459
转载 推荐系统产品与算法深度解析
作者在《推荐系统的工程实现》（点击蓝字可回顾）这篇文章的第五部分“推荐系统范式”中讲到工业级推荐系统有非个性化范式、完全个性化范式、群组个性化范式、items关联items范式、笛卡尔积范式等5种常用的推荐范式。本文会按照这5大范式来讲解常用的推荐算法，但不会深入讲解算法的实现原理，只是概述算法的实现思路，后面的系列文章我会对常用的重点算法进行细致深入剖析。本文会从推荐算法与产品介绍、...
2019-06-19 17:02:55
1389
原创 学习金字塔
引出：《学习金字塔理论》是美国缅因州的国家训练实验室研究成果，它用数字形式形象显示了：采用不同的学习方式，学习者在两周以后还能记住内容（平均学习保持率）的多少。它是一种现代学习方式的理论。最早它是由美国学者、著名的学习专家爱德加·戴尔1946年首先发现并提出的。在第一种学习方式，塔尖——“听讲”，也就是老师在上面说，学生在下面听，这种我们最熟悉最常用的方式，学习效果却是...
2019-06-19 16:34:17
3184
原创 linux安装git
Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理。而国外的GitHub和国内的Coding都是项目的托管平台。但是在使用Git工具的时候，第一步要学会如何安装git，本教程就手把手教大家如何手动编译安装git。1、介绍 使用Coding管理项目，上面要求使用的git版本为1.8.0以上，而很多yum源上自动安装的git版本为1.7，所以需要掌握手动编...
2019-06-19 15:07:23
105
原创 推荐系统杂谈
认识推荐系统首先需要明确的就是推荐系统的目标，一般来说有以下几个：用户满意性：首当其冲的，推荐系统主要就是为了满足用户的需求，因此准确率是评判一个推荐系统好坏的最关键指标。 多样性：虽然推荐系统最主要还是满足用户的兴趣，但是也要兼顾内容的多样性，对于权重不同的兴趣都要做到兼顾。 新颖性：用户看到内容是那些他们之前没有听说过的物品。简单的做法就是在推荐列表去掉用户之前有过行为的那些内容。...
2019-06-19 14:44:45
222
原创 推荐系统中常用算法以及优点缺点对比
推荐方法是整个推荐系统中最核心、最关键的部分，很大程度上决定了推荐系统性能的优劣。目前，主要的推荐方法包括：基于内容推荐、协同过滤推荐、基于关联规则推荐、基于效用推荐、基于知识推荐和组合推荐。一、基于内容推荐基于内容的推荐（Content-based Recommendation）是信息过滤技术的延续与发展，它是建立在项目的内容信息上作出推荐的，而不需要依据用户对项目的评价意见，更多地需要...
2019-06-19 14:41:41
8961
原创 Pandas链接Mysql数据库,查询数据库,插入数据库
使用工具SQLAlchemy SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射（ORM）工具，使用MIT许可证发行。 可以使用pip命令安装SQLAlchemy模块：pip install sqlalchemy SQLAlchemy模块提供了create_engine()函数用来初始化数据库连接，SQLAlchemy用一个字符串表...
2019-06-19 10:38:05
1322
原创 工作中的项目怎么理解
项目解密 你或许是还没毕业的大学生或者刚工作的职场新人,但对项目的理解有点模糊，那读完我的文章你就对项目有了更深刻的理解；我是从事于数据挖掘工作的程序猿，我就拿我工作中的项目来举例子生动形象的解释我对项目的认识。项目对比 项目是一个抽象的概念，只有具体化才会更好的理解。举个例子：厨师做饭和数据挖掘都是一个项目，下面我就用对比的方式来介绍这两个项目。项目名...
2019-06-18 18:02:47
1674
原创 azkaban的安装和配置
前提linux环境 安装mysql 一个邮箱，必须有授权码的密码 Java开发环境(JAVA环境变量必须设置检查:javajavac)编译和解压1.克隆项目$gitclonehttps://github.com/azkaban/azkaban.git2.进入azkaban目录$cdazkaban$ gitcheckout版本号#版本...
2019-06-17 17:21:23
771
原创 tensoflow-gpu安装
要求你安装的python是64位的安装tensorflow-gpupip install tensorflow-gpu安装 NVIDIA CUDA 本地版的exe（local）离线安装版下载完成后，双击运行文件选择 ok，等进度条走完，就会进入安装界面。安装加载界面检查系统兼容性，等一下就好如果检测通过了，那么恭喜你，你的显卡可以安装cuda...
2019-06-17 17:11:49
201
原创 Centos7下安装Docker--菜鸟教程
一，Docker简介百科说：Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。看起来有点雾，用过虚拟机的应该对虚拟化技术有点印象，不知道也没关系，就把它当成轻量级的虚拟机吧（虽然一个是完全虚拟化，一个是操作系统层虚拟化），这个解释到位：ht...
2019-06-17 14:25:06
5725
原创 pip的使用和清华镜像源的设置
使用pip安装第三方库的时候卡的要死。所以我就想pip能不能安装本地的包。原来pip能干这么多事情！幸福感暴涨！安装在安装anaconda的使用就自动下载了pip列出已安装的包pip list导出requirements.txtpip freeze > <目录>/requirements.txt安装包在线安装pip instal...
2019-06-15 20:42:04
9415
原创 ImportError: /lib64/libstdc++.so.6: version `CXXABI_1.3.9‘ not found 解决方案
在安装keras之前需要安装TensorFlow见博客：https://blog.csdn.net/hejp_123/article/details/92154095安装keraspip install keras如果在导入包的时候没问题，keras就安装成功，也有可能出现以下问题。安装keras之后，import keras出现下面的错误ImportErro...
2019-06-15 20:16:35
1206
原创 Linux环境下 TensorFlow的安装和使用
基于Anaconda的tensorflow安装TensorFlow各版本自主下载地址：cpu版本：https://pypi.python.org/pypi/tensorflow/1.9.0gpu版本：https://pypi.python.org/pypi/tensorflow-gpu/1.4.0首先安装Linux版的anaconda# 进入安装包的路径执行下面的命令...
2019-06-15 19:39:26
5036
原创 python--jupyter notebook 转化为PDF教程
安装需要安装pdfkit：pip install pdfkitwkhtmltopdf的下载地址：https://www.qqtn.com/down/315109.html 【普通下载】安装之后将目录文件放在环境变量中:C:\Program Files\wkhtmltopdf\bin（查看自己的安装目录）使用然后在python文件中粘贴如下代码：# 执行命令行的包 也可以用os...
2019-06-12 15:26:39
3359
2
原创 Pycharm设置新建python文件默认代码及内容
Pycharm默认新建文件时添加作者名称，只需要做一下设置位置：File->settings->Editor->File and Code Templates->Python Script在框中粘贴以下代码# -*- coding: utf-8 -*-'''@Time : ${DATE} ${TIME}@Author : hejipei...
2019-06-11 14:37:38
7687
转载 pycharm链接mysql数据库
在view | Tool Windows | Database 选择显示2.点击database中的“+”, 选择Data Source, 选择MySQL3.填写远程连接MySQL数据库的参数Host: 远程ip 若是连接本地MySQL 直接写localhost即可Database: 填写数据库名称,不写默认连接之后,可以查看当前用户权限下的所有数据库User: MySQL用户名P...
2019-06-11 11:51:45
1241
4
原创 pycharm远程链接Linux系统--像本地一样运行程序
简介pycharm远程链接Linux系统，无缝链接本地和服务器，能够避免两边开发不同而造成的bug，提高工作效率。配置教程1.配置环境：window系统，Linux系统，Linux自带python，也可以使用自己的安装的python3.x。2.专业版pycharm，直接去官网下载，安装和配置自行百度，这里不做赘述。3.专业版需要key才能使用，破解比较麻烦，于是选择去某宝几...
2019-06-04 17:28:15
3292
原创 python--argparge的使用
简介argparse是python标准库里面用来处理命令行参数的库使用import argparse parser = argparse.ArgumentParser()parser.add_argument("--type", help="展示一个服务类型", type=str, required=True)parser.add_argument("--Tag", hel...
2019-06-03 14:13:55
723
原创 python--itertools的使用
简介迭代生成器工具包 itertools更多功能请参考：http://www.wklken.me/posts/2013/08/20/python-extra-itertools.html使用排序：permutations组合：combinations# 排序：permutations# 组合：combinationsfrom itertools import perm...
2019-06-03 12:49:55
251
原创 python --collections的使用
简介在内置数据类型（dict、list、set、tuple）的基础上，collections模块还提供了几个额外的数据类型：Counter、deque、defaultdict、namedtuple和OrderedDict等1.namedtuple: 生成可以使用名字来访问元素内容的tuple2.deque: 双端队列，可以快速的从另外一侧追加和推出对象3.Counter: 计数器，主...
2019-06-03 12:47:22
199
原创 Python--re模块正则表达式的使用
简介Python 的 re 模块（Regular Expression 正则表达式）提供各种正则表达式的匹配操作，和 Perl 脚本的正则表达式功能类似，使用这一内嵌于 Python 的语言工具，尽管不能满足所有复杂的匹配情况，但足够在绝大多数情况下能够有效地实现对复杂字符串的分析并提取出相关信息。 ...
2019-06-03 11:24:34
251
原创 Python--tqdm安装和使用技巧
简介Tqdm 是一个快速，可扩展的Python进度条，可以在 Python 长循环中添加一个进度提示信息，用户只需要封装任意的迭代器 tqdm(iterator),简单，高效，易理解。环境方法1：安装完anaconda，tqdm包自然就存在。方法2：pip install tqdm使用1.对range的使用import timefrom tqdm import tq...
2019-06-03 09:51:23
4228
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人